码迷,mamicode.com
首页 >  
搜索关键字:hadoop mapreduce job eclipse    ( 44113个结果
深入Hadoop的调度器
Hadoop有两个大版本0.20.x,1.x通常为hadoop 1版本,运行环境依赖JobTracker和TaskTracker,运行资源通过作业表示模型MapTask和ReduceTask来组成;运行资源通过槽位Slot来表示。0.23.x,2.x称之为hadoop 2版本,在开发模型上类似1,都...
分类:其他好文   时间:2014-05-18 19:24:17    阅读次数:291
利用Continuous Testing实现Eclipse环境自动单元测试
当你Eclipse环境中修改项目中的某个方法时,你可能由于各种原因没有运行单元测试,结果代码提交,悲剧就可能随之而来。所幸infinitest(http://infinitest.github.io/)提供了一个Continuous Testing插件,以及时自动运行单元测试。
分类:系统相关   时间:2014-05-18 19:08:49    阅读次数:410
新版eclipse编写Android 时经常报的错误 -support-v7
一。.和以往一样新建完一个Android项目之后,会报android.support.v4.。。。或者V7找不到的错误。   这是因为这两个包在另一个附带的项目(android-support-v7-appcompat)下。 解决办法:右键你刚才建 的项目〉Properties>Android 在下边 点Add  然后把android-support-v7-appcompat添加上就好...
分类:移动开发   时间:2014-05-18 18:30:05    阅读次数:204
eclipse内存溢出报错:java.lang.OutOfMemoryError:Java heap space
今天运行了一个比较大的程序,处理的数据达到126MB数据,将数据导入数据库中,用eclipse 来访问时候,总是出现java.lang.OutOfMemoryError:Java heap space的错误,上网查了一些资料,原来是堆栈溢出的状况,eclipse默认的情况下,堆栈的空间应该是64MB, 所以有时候处理的数据的时候,容易出现堆栈溢出的情况,下面总结了几种方法,解决这个问题。 ...
分类:编程语言   时间:2014-05-18 15:53:30    阅读次数:274
hadoop学习;Streaming,aggregate;combiner
hadoop streaming允许我们使用任何可执行脚本来处理按行组织的数据流,数据取自UNIX的标准输入STDIN,并输出到STDOUT 通过设定mapper为‘RandomSample.py 10’,我们按十分之一的采样率,没有设定特殊的reducer,一般默认使用IdentityReducer(把输入直接转向输出) 通过HDFS的命令getMerge(输出合并)或其他文件操作,可以获得...
分类:其他好文   时间:2014-05-18 15:12:21    阅读次数:380
eclipse maven 插件的安装和配置
maven3 安装:     安装 Maven 之前要求先确定你的 JDK 已经安装配置完成。Maven是 Apache 下的一个项目,目前最新版本是 3.0.4,我用的也是这个。     首先去官网下载 Maven:http://www.apache.org/dyn/closer.cgi/maven/binaries/apache-maven-3.0.4-bin.tar.gz     下载...
分类:系统相关   时间:2014-05-18 06:56:18    阅读次数:345
Eclipse、svn插件、subclipse的安装
1、下载subclipse的安装包 URL:http://subclipse.tigris.org/servlets/ProjectDocumentList?folderID=2240 注:下载时要注意对应的Eclipse版本号 (Eclipse3.X, 1.10.x)2、从中解压出features...
分类:系统相关   时间:2014-05-18 01:45:40    阅读次数:326
Maven构建Hadoop开发环境
Maven构建Hadoop开发环境
分类:其他好文   时间:2014-05-17 22:48:13    阅读次数:258
HDFS基础和java api操作
1. 概括适合一次写入多次查询情况,不支持并发写情况通过hadoop shell 上传的文件存放在DataNode的block中,通过linux shell只能看见block,看不见文件(HDFS将客户端的大文件存放在很多节点的数据块中,Block本质上是一个逻辑概念,它是hdfs读写数据的基本单位...
分类:编程语言   时间:2014-05-17 18:38:16    阅读次数:364
记录一个在制作Swing程序的小怪事
在制作一个Swing程序时,出现了奇怪的事情,程序在Eclipse里执行正常,但打包后再执行那些动态执行的控件就消失不见了。截图如下:在Eclipse里正常执行的画面:打包执行后出现的画面:可以发现,那些动态创建的CheckBox都消失了。起初也在网上找什么解决方案,什么updateUI(),rep...
分类:Windows程序   时间:2014-05-17 18:32:53    阅读次数:434
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!