码迷,mamicode.com
首页 >  
搜索关键字:hadoop mapreduce job eclipse    ( 44113个结果
MapReduce job在JobTracker初始化源码级分析
mapreduce job提交流程源码级分析(三)中已经说明用户最终调用JobTracker.submitJob方法来向JobTracker提交作业。而这个方法的核心提交方法是JobTracker.addJob(JobID jobId, JobInProgress job)方法,这个addJob.....
分类:其他好文   时间:2014-05-26 23:20:49    阅读次数:354
Eclipse3.7中搭建Android开发环境文档教程和视频教程
1、下载Eclipse3.7,登录http://www.eclipse.org/downloads/,下载Eclipse Classic 3.7:2、安装ADT插件:下载好Eclipse后解压,运行Eclipse,第一次运行会提示设置workspace;在菜单栏选择Help—Install New ...
分类:移动开发   时间:2014-05-26 23:11:18    阅读次数:360
myeclipse内存溢出的N个解决办法
MyEclipse内存溢出解决方法1、修改eclipse.ini在Myeclipse安装目录下G:\MyEclipse8.5\Genuitec\MyEclipse8.5有一个myeclipse.ini配置文件,设置如下:-vmargs-Xmx512m-XX:MaxPermSize=256m-XX:R...
分类:系统相关   时间:2014-05-26 22:18:16    阅读次数:358
hbase使用SQL查询
因为需要统计hbase中某个特定列不为空的行数,我寻思有没有支持直接用SQL查询的,查找了下,发现有两个可以支持:一个是apache phoenix,一个是Cloudera的Impala。如果用Impala,需要使用Cloudera的hadoop发行版。
分类:数据库   时间:2014-05-26 22:02:35    阅读次数:322
Hadoop fs命令(转)
最近使用hive做一些etl工作,除了日常sql的编写,了解hadoop及hive的一些底层原理性质的东西包括调优非常有必要,一次hive调优就把原来的零散文件做了合并。首先记下hadoop常用的命令:(hadoop fs -help列出全部)1,hadoop fs –fs [local | ]:声...
分类:其他好文   时间:2014-05-26 20:44:49    阅读次数:308
用shell脚本自动化安装hadoop
hadoop环境的部署配置很费时间,有时候开发人员也不怎么关注。如何快速部署一个hadoop环境呢,我用shell脚本编写了一个小程序,可以完成这个功能。
分类:其他好文   时间:2014-05-26 20:42:07    阅读次数:436
Eclispe使用Maven添加官方库的jar包
先到百度或google搜索maven仓库,在仓库中搜索需要的jar包,如poi.jar。搜索到之后找到需要的jar包,找到这里把......这一段复制到项目的xml配置文件中,我的是pom.xml,如图到项目所在的目录下,打开命令行,依次敲入如下命令mvn cleanmvn eclipse:clea...
分类:其他好文   时间:2014-05-26 20:35:19    阅读次数:281
zookeeper 分布式管理
分布式框架: Zookeeper与paxos算法一、zookeeper是什么官方说辞:Zookeeper 分布式服务框架是Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。好抽象,我们...
分类:其他好文   时间:2014-05-26 16:37:39    阅读次数:300
10个linux 作业控制的bash 脚本实例
linux和unix都是多任务的操作系统,也就是说系统可以同时运行多个任务或者进程。下面我们来说一下在linux或者unix下用来处理多任务的作业控制命令。什么是作业控制(job control)?作业控制就是可以停止或者暂停正在执行的程序,还可以使暂停的进程重新开始运行。这些都是可以通过我们的sh...
分类:系统相关   时间:2014-05-26 16:34:57    阅读次数:429
MyEclipse设置和sqlyog中文乱码
sqlyog中文乱码:Eclipse的文本编码与MySQL数据库字符编码不一致导致。修改Eclipse设置,Window->Preferences->General->Workspace,找到Text file encoding,选择Other,修改为UTF-8。MySQL要支持完整的中文字符集,应...
分类:数据库   时间:2014-05-26 16:13:42    阅读次数:327
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!