mapreduce
job提交流程源码级分析(三)中已经说明用户最终调用JobTracker.submitJob方法来向JobTracker提交作业。而这个方法的核心提交方法是JobTracker.addJob(JobID
jobId, JobInProgress job)方法,这个addJob.....
分类:
其他好文 时间:
2014-05-26 23:20:49
阅读次数:
354
1、下载Eclipse3.7,登录http://www.eclipse.org/downloads/,下载Eclipse
Classic
3.7:2、安装ADT插件:下载好Eclipse后解压,运行Eclipse,第一次运行会提示设置workspace;在菜单栏选择Help—Install New
...
分类:
移动开发 时间:
2014-05-26 23:11:18
阅读次数:
360
MyEclipse内存溢出解决方法1、修改eclipse.ini在Myeclipse安装目录下G:\MyEclipse8.5\Genuitec\MyEclipse8.5有一个myeclipse.ini配置文件,设置如下:-vmargs-Xmx512m-XX:MaxPermSize=256m-XX:R...
分类:
系统相关 时间:
2014-05-26 22:18:16
阅读次数:
358
因为需要统计hbase中某个特定列不为空的行数,我寻思有没有支持直接用SQL查询的,查找了下,发现有两个可以支持:一个是apache
phoenix,一个是Cloudera的Impala。如果用Impala,需要使用Cloudera的hadoop发行版。
分类:
数据库 时间:
2014-05-26 22:02:35
阅读次数:
322
最近使用hive做一些etl工作,除了日常sql的编写,了解hadoop及hive的一些底层原理性质的东西包括调优非常有必要,一次hive调优就把原来的零散文件做了合并。首先记下hadoop常用的命令:(hadoop
fs -help列出全部)1,hadoop fs –fs [local | ]:声...
分类:
其他好文 时间:
2014-05-26 20:44:49
阅读次数:
308
hadoop环境的部署配置很费时间,有时候开发人员也不怎么关注。如何快速部署一个hadoop环境呢,我用shell脚本编写了一个小程序,可以完成这个功能。
分类:
其他好文 时间:
2014-05-26 20:42:07
阅读次数:
436
先到百度或google搜索maven仓库,在仓库中搜索需要的jar包,如poi.jar。搜索到之后找到需要的jar包,找到这里把......这一段复制到项目的xml配置文件中,我的是pom.xml,如图到项目所在的目录下,打开命令行,依次敲入如下命令mvn
cleanmvn eclipse:clea...
分类:
其他好文 时间:
2014-05-26 20:35:19
阅读次数:
281
分布式框架:
Zookeeper与paxos算法一、zookeeper是什么官方说辞:Zookeeper 分布式服务框架是Apache Hadoop
的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。好抽象,我们...
分类:
其他好文 时间:
2014-05-26 16:37:39
阅读次数:
300
linux和unix都是多任务的操作系统,也就是说系统可以同时运行多个任务或者进程。下面我们来说一下在linux或者unix下用来处理多任务的作业控制命令。什么是作业控制(job
control)?作业控制就是可以停止或者暂停正在执行的程序,还可以使暂停的进程重新开始运行。这些都是可以通过我们的sh...
分类:
系统相关 时间:
2014-05-26 16:34:57
阅读次数:
429
sqlyog中文乱码:Eclipse的文本编码与MySQL数据库字符编码不一致导致。修改Eclipse设置,Window->Preferences->General->Workspace,找到Text
file encoding,选择Other,修改为UTF-8。MySQL要支持完整的中文字符集,应...
分类:
数据库 时间:
2014-05-26 16:13:42
阅读次数:
327