1.基本环境：操作系统：Centos7.2.1511jdk环境版本：jdk-8u45-linux-x64.rpmmysql环境：rpm包：http://ftp.ntu.edu.tw/MySQL/Downloads/MySQL-5.6/MySQL-5.6.33-1.linux_glibc2.5.x86_64.rpm-bundle.tarjdbc链接包：http://101.96.10.72/cdn.mysql.com//Downloads/Connector-J/..
分类：
其他好文 时间：
2016-12-09 20:06:13
阅读次数：
924
1、编译Slider，[root@plat1apache-slider-0.91.0-incubating]#pwd
/usr/local/src/apache-slider-0.91.0-incubating因采用CDH版本hadoop(2.6.0-cdh5.9.0),hbase(1.2.0-cdh5.9.0)，修改该目录下pom文件<hadoop.version>2.6.0-cdh5.9.0</hadoop.version>
<hbase...
分类：
其他好文 时间：
2016-12-06 00:08:32
阅读次数：
625
前期准备： JDK环境 安装 mysql rpm包：http://dev.mysql.com/get/Downloads/MySQL-5.6/MySQL-5.6.26-1.linux_glibc2.5.x86_64.rpm-bundle.tar jdbc连接包mysql-connector-java ...
分类：
其他好文 时间：
2016-12-05 11:49:25
阅读次数：
361
研发环境下搭建了一套基于CDH5的大数据平台。在重启服务器后发现HBase组件启动异常，如图HBaseMaster运行状况不良RegionServer运行状况不良所有的RegionServer角色全部停止，启动时报错。查看角色日志Masterrejectedstartupbecauseclockisoutofsync
org.apache.hadoop.hbase.Cl..
分类：
其他好文 时间：
2016-12-05 02:55:00
阅读次数：
408
笔者的集群是 HA 模式的( HDFS 和 ResourceManager HA)。在 ” Hadoop-2.5.0-cdh5.3.2 HA 安装＂ 中详细讲解了关于 HA 模式的搭建，这里就不再赘述。但网上直接将关于 HA 模式下的历史服务器的配置资料却很少。 笔者在思考，如果配置在 mapred ...
分类：
其他好文 时间：
2016-12-01 03:09:55
阅读次数：
266
环境 1、centos6.5（64位） 机器规划及节点分布 目录设置 dfs.namenode.name.dir = file:/home/hadoop/data/name dfs.datanode.data.dir = file:/home/hadoop/data/datanode dfs.nam ...
分类：
其他好文 时间：
2016-11-29 06:52:04
阅读次数：
1256
安装环境如下： 操作系统：CentOs 6.6 Hadoop 版本：CDH-5.3.0 Spark 版本：1.2 集群5个节点 node01-05 node01-03 为worker node04、node05为master spark HA 必须要zookeepr来做协同服务，做master主备切 ...
分类：
其他好文 时间：
2016-11-19 07:38:15
阅读次数：
1225
4.1 bin/oozie ..... 提交任务 [hadoop@hadoop01 oozie-4.0.0-cdh5.3.6]$ bin/oozie job -oozie http://hadoop01:11000/oozie -config examples/apps/map-reduce/job ...
分类：
其他好文 时间：
2016-11-16 07:36:56
阅读次数：
166
3.1官方的案例 （1）Oozie根目录下找到 oozie-examples.tar.gz （2）解压tar -zxvf oozie-examples.tar.gz 生成example文件夹 [hadoop@hadoop01 oozie-4.0.0-cdh5.3.6]$ tar -zxvf oozi ...
分类：
其他好文 时间：
2016-11-16 07:36:34
阅读次数：
280
说明：hadoop用的是hadoop-2.5.0-cdh5.3.6 Oozie用的是oozie-4.0.0-cdh5.3.6 该测试环境用户名为hadoop 主机名为hadoop01 2.4安装部署 （1）下载上传到目录： /opt/software/cdh-5.3.6 一个安装包 一个ExtJS包 ...
分类：
其他好文 时间：
2016-11-16 02:20:38
阅读次数：
323
