1.进入到，/opt/cdh-5.7.6/hive-1.1.0-cdh5.7.6/conf，目录中编辑hive-site.xml文件 2.添加参数： <!--指定要连接的数据库--> <property> <name>javax.jdo.option.ConnectionURL</name> <va ...
分类：
数据库 时间：
2017-09-18 13:29:34
阅读次数：
140
1.下载解压，tar -zxvf /opt/tools/hive-1.1.0-cdh5.7.6.tar.gz -C /opt/cdh-5.7.6/ 2.修改配置文件，在conf文件目录下，去掉template启用hive-env.sh mv hive-env.sh.template hive-env ...
分类：
其他好文 时间：
2017-09-18 13:21:25
阅读次数：
162
1.下载 sqoop-1.4.6-cdh5.7.6.tar.gz 2.在linux中进行安装， tar -zxvf /opt/tools/spark-1.6.1-bin-2.6.0-cdh5.7.6.tgz -C /opt/cdh-5.7.6/ 3.进入sqoop安装目录，我装在/opt/cdh-5 ...
分类：
其他好文 时间：
2017-09-16 21:59:18
阅读次数：
183
0、操作系统 centos:6 hadoop:2.5.0-cdh5.3.6 1、为什么要编译 spark 源码？ 学习spark的第一步 就应该是编译源码，后期修改和调试，扩展集成的功能模块 2、Spark 源码编译的三种形式？ a.maven 编译 # export MAVEN_OPTS="-Xm ...
分类：
其他好文 时间：
2017-09-06 00:38:49
阅读次数：
232
安装方式安装前准备安装步骤安装过程修改/etc/hosts设置ssh 互信修改linux 系统设置安装JDK1.8安装python2.7安装mysql/postgreysql数据库安装ntp设置本地yum源下载CDH parcels包安装CM使用yum安装CM安装agent进入CDH添加节点使用CM... ...
分类：
其他好文 时间：
2017-08-30 22:29:00
阅读次数：
5760
CDH5.7卸载1.记录用户数据目录2.关闭所有服务2.1在CM中，选择某个集群，然后停止集群。2.2逐个关闭CDH中的服务3.删除parcels4.删除集群5.卸载Cloudera manager server5.1 如果是用Cloudera-manager-installer.bin 文件安装5... ...
分类：
其他好文 时间：
2017-08-30 22:28:28
阅读次数：
342
需要的介质如下:CM: cloudera-manager-el6-cm5.4.3_x86_64.tar.gzCDH parcel: CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha mani ...
分类：
其他好文 时间：
2017-08-19 20:16:20
阅读次数：
261
背景 sqoop是一个用来将Hadoop和关系型数据库（RDBMS）中的数据进行相互转移的工具。在使用sqoop时，我们需要提供数据库的访问密码。目前sqoop共支持4种输入密码的方式： 笔者使用的是CDH5.10里的sqoop，版本是1.4.6。在待会的演示中，我们将以mysql作为我们的关系型数 ...
分类：
数据库 时间：
2017-08-12 00:37:51
阅读次数：
234
##1)Environmentinitialization
Note：Atleastthreenodes,
theMasternodeatleast6Gofmemory,
andtheothertwoatleast4Gofmemory
|--------------|-----------|-------------|----------------|-----------|--------------------|-------------|
|Host|Server|Agent|zookeeper|n..
分类：
其他好文 时间：
2017-07-27 22:34:11
阅读次数：
171
这几天一直在安装CDH,头都搞大了，安装第三次，最终成功了。 第一次问题非常多。后面卸载了。由于没有卸载干净导致第二次安装失败。后来索性重装系统了。直接使用了纯净系统进行安装。一个人跑到学院机房去装系统，苦逼慘了。 。不扯了，记录下安装流程。 系统环境 操作系统：CentOS 6.5 x64，配置例 ...
分类：
其他好文 时间：
2017-07-23 13:41:13
阅读次数：
304
