代码确信无误之后，ant运行起来，发现一执行就卡在Running Job XXXX那里一直不动了。 试着把代码打包成jar扔到Linux执行也还是一样的效果。还是停在那里。然后就一顿瞎蒙。最后发现是Hadoop2的datanode的问题。当时试着执行list的时候发现是znode=null啥的...
分类：
其他好文 时间：
2015-05-31 18:24:44
阅读次数：
175
CDH集群中YARN的参数配置前言：Hadoop2.0之后，原先的MapReduce不在是简单的离线批处理MR任务的框架，升级为MapReduceV2（Yarn）版本，也就是把资源调度和任务分发两块分离开来。而在最新的CDH版本中，同时集成了MapReduceV1和MapReduceV2（Yarn）两个版本，如果集群中需要使用..
分类：
其他好文 时间：
2015-05-29 18:21:09
阅读次数：
162
一：单机版1.sudo gedit ~/.bashrc 加入JDK路径#HADOOP VARIABLES START export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-amd64export HADOOP_INSTALL=/home/sendi/ha....
分类：
系统相关 时间：
2015-05-29 13:55:19
阅读次数：
164
一、安装前准备
CentOS6.5（64bit）
hadoop-2.6.0-64.tar.gz
jdk-7u67-linux-x64.tar.gz
二、安装
1、关闭防火墙和SELinux
service iptables status (查看)
service iptables stop
chkconfig iptables off (永久关闭)
vi /et...
分类：
其他好文 时间：
2015-05-27 22:51:08
阅读次数：
159
本文出自：http://wuyudong.com/archives/119? 对于全分布式的HBase安装，需要通过hbase-site.xml文档来配置本机的HBase特性，由于各个HBase之间通过zookeeper来进行通信，因此需要维护一组zookeeper系统，关于z...
分类：
其他好文 时间：
2015-05-26 21:36:48
阅读次数：
262
本文出自：http://wuyudong.com/archives/119对于全分布式的HBase安装，需要通过hbase-site.xml文档来配置本机的HBase特性，由于各个HBase之间通过zookeeper来进行通信，因此需要维护一组zookeeper系统，关于zookeeper的安装使用...
分类：
其他好文 时间：
2015-05-26 20:49:35
阅读次数：
167
参考链接hadoop家族、strom、spark、Linux、flume等jar包、安装包汇总下载(持续更新)http://www.aboutyun.com/thread-8178-1-1.htmlWin7中使用Eclipse连接虚拟机中的Ubuntu中的Hadoop2.4经验总结http://ww...
分类：
其他好文 时间：
2015-05-25 12:56:34
阅读次数：
139
准备linux环境【java、ip、hostname、hosts、iptables、chkconfig、ssh】
下载稳定版2.6.0
修改etc/hadoop目录下的配置文件core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml
启动
验证
下面主要配置文件：
core-site.xml：
fs.defau...
分类：
其他好文 时间：
2015-05-23 18:29:52
阅读次数：
215
RedHadoop创始人童小军在北京开讲“Hadoop2.0集群优化与管理”啦！购买该线下培训课程的童鞋即可免费赠送一张价值2000元的云计算大会门票哦，超值优惠中！期待您的加入哦！...
分类：
其他好文 时间：
2015-05-22 13:31:48
阅读次数：
211
安装前一定要注意版本兼容！安装前一定要注意版本兼容！安装前一定要注意版本兼容！重要的话说三遍，参考《HADOOP&HBASE&HIVE整合》中的兼容原则。由于之前Hadoop是2.4，亲测在Hadoop2.4上hbase1.0.1是可以工作的。而0.94版本存在兼容性的问题。配置所有的配置文件位于附...
分类：
其他好文 时间：
2015-05-21 21:39:47
阅读次数：
152
