Cloudera Manager Server和Agent都启动以后，就可以进行CDH5的安装配置了。
这时可以通过浏览器访问主节点的7180端口测试一下了（由于CM Server的启动需要花点时间，这里可能要等待一会才能访问），默认的用户名和密码均为admin。制作本地源先下载CDH到本地http://archive-primary.cloudera.com/cdh5/parcels/5.3.4...
分类：
其他好文 时间：
2015-06-28 00:07:08
阅读次数：
732
这几天一直在安装CDH,头都搞大了，安装第三次，终于成功了。
第一次问题很多，后面卸载了，由于没有卸载干净导致第二次安装失败。后来索性重装系统了，直接使用了纯净系统进行安装。一个人跑到学院机房去装系统，苦逼惨了。
，不扯了，记录下安装流程。系统环境
操作系统：CentOS 6.5 x64，配置如下：
Cloudera Manager：5.3.4
CDH: 5.3.4前期准备工作（系统环...
分类：
其他好文 时间：
2015-06-27 22:51:49
阅读次数：
282
1、安装依赖包yuminstallrsyncgccopenldap-develpython-ldapmysql-develpython-develpython-setuptoolspython-simplejson
sqlite-devellibxml2-devellibxslt-develcyrus-sasl-devel2、下载hue的cdh版本wgethttp://archive-primary.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.4.2...
分类：
其他好文 时间：
2015-06-23 23:24:28
阅读次数：
602
出现这个问题，是因为spark的excutor执行的时候，缺少hive的依赖包，添加依赖包的参数是：--conf "spark.executor.extraClassPath=/opt/cloudera/parcels/CDH-5.3.1-1.cdh5.3.1.p0.5/lib/hive/lib/*...
分类：
数据库 时间：
2015-06-23 13:30:45
阅读次数：
337
在cdh5.3中的spark，已经包含了sparksql，只需要做以下几步配置，就可以在使用该功能1）确保hive的cli和jdbc都可以正常工作2）把hive-site.xml 复制到 SPARK_HOME/conf目录下3）将hive的类库添加到spark classpath中：编辑SPARK_...
分类：
数据库 时间：
2015-06-19 01:25:51
阅读次数：
425
通过snapshot实现 hdfs上文件的备份api地址请见http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.5.0-cdh5.2.0/hadoop-project-dist/hadoop-hdfs/HdfsSnapshots.html=========...
分类：
其他好文 时间：
2015-06-18 19:32:28
阅读次数：
172
运行环境 集群环境：CDH5.3.0 具体JAR版本如下： spark版本：1.2.0-cdh5.3.0 hive版本：0.13.1-cdh5.3.0 hadoop版本：2.5.0-cdh5.3.0 spark sql的JAVA版简单示例 spark sql直接查询JSON格式的数据 spark sql的自定...
分类：
数据库 时间：
2015-06-16 19:39:20
阅读次数：
394
1、下载zookeeper并解压
用cdh5.3.0对应的版本
2、参数配置
进入zookeeper/conf：
$:vim zoo.cfg
若没有上述文件，则
$:cp zoo_sample.cfg zoo.cfg
# The number of milliseconds of each tick
tickTime=2000
# The number of...
分类：
其他好文 时间：
2015-06-16 16:46:30
阅读次数：
89
向CDH5集群中添加新的主机节点步骤一：首先得在新的主机环境中安装JDK，关闭防火墙、修改selinux、NTP时钟与主机同步、修改hosts、与主机配置ssh免密码登录、保证安装好了perl和python.步骤二：上传cloudera-manager文件到/opt目录，修改agent配置文件： ....
分类：
其他好文 时间：
2015-06-15 16:12:16
阅读次数：
6775
一、快速入门
（一）下载安装
1、下载并解压
wget http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.4-cdh5.1.2.tar.gz
tar -zxvf sqoop-1.4.4-cdh5.1.2.tar.gz
2、将sqoop中的命令添加至$PATH中
export PATH=$PATH:/home/jediael/setup...
分类：
其他好文 时间：
2015-06-06 12:06:23
阅读次数：
252
