1、背景 公司线下环境,原本有三台虚拟机组成的集群(cdh5.3.6),由于硬件配置比较低,申请了新的三台机器,8核8G内存,在上面部署了cdh5.11.1,较新的cdh集群。 由于远来的三台还在使用,所以打算把新的三台机器搭建好后,再把原来三台机器合并进来。 2、过程 (1)让hadoop001, ...
分类:
其他好文 时间:
2018-05-18 01:26:59
阅读次数:
244
一、简介 oozie是hadoop平台开源的工作流调度引擎,用来管理hadoop作业,属于web应用程序,由oozie server 和oozie client构成。 oozie server运行与tomcat容器中 oozie的工作流必须是一个有向无环图,当用户需要执行多个关联的MapReduce ...
分类:
其他好文 时间:
2018-05-16 00:46:29
阅读次数:
260
1 搭建环境所使用的资源 VMware Workstation 9 ubuntu-14.04.2-desktop-amd64.iso jdk-7u80-linux-x64.tar.gz hadoop-2.5.0.tar.gz zookeeper-3.4.5-cdh5.1.0.tar.gz hbase ...
分类:
其他好文 时间:
2018-05-12 17:34:42
阅读次数:
184
一、简介 hue是一个开源的apache hadoop ui系统,由cloudear desktop演化而来,最后cloudera公司将其贡献给了apache基金会的hadoop社区,它基于python框架django实现的。 通过使用hue,我们可以使用可视化的界面在web浏览器上与hadoop集 ...
分类:
其他好文 时间:
2018-05-12 15:06:10
阅读次数:
418
各位,哪位大神帮忙看一下,cdh5.9.2环境中hbase中的regionserver服务没过一段时间就会down
本人已经确认不是时间同步问题,
下面是具体的regionserver日志信息
分类:
系统相关 时间:
2018-05-07 23:49:34
阅读次数:
471
hadoop2.5.0 HA配置 1.修改hadoop中的配置文件 进入/usr/local/src/hadoop 2.5.0 cdh5.3.6/etc/hadoop目录,修改hadoop env.sh,core site.xml,hdfs site.xml,mapred site.xml ,yar ...
分类:
其他好文 时间:
2018-05-06 19:59:57
阅读次数:
169
Hive安装及配置 下载hive安装包 此处以hive 0.13.1 cdh5.3.6版本的为例,包名为:hive 0.13.1 cdh5.3.6.tar.gz 解压Hive到安装目录 $ tar xvf hive 0.13.1 cdh5.3.6.tar.gz 重命名配置文件 mv hive def ...
分类:
其他好文 时间:
2018-05-06 18:49:42
阅读次数:
226
首先官网下载tar包 http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.5.4.tar.gz 添加mvn源 安装依赖(mysql和mysql-devel已经在安装hive的时候有了 所以不必安装) 切换到hadoop用户并上传并解压tar包 ...
分类:
其他好文 时间:
2018-04-14 11:21:51
阅读次数:
558