CDH对我们已经封装了，我们如果需要Spark on Yarn，只需要yum安装几个包就可以了。前面的文章我有写过如果搭建自己内网的CDH Yum服务器，请参考《CDH 5.5.1 Yum源服务器搭建》http://www.cnblogs.com/luguoyuanf/p/56187ea1049f4... ...
分类：
其他好文 时间：
2016-03-26 12:18:57
阅读次数：
153
1、Cloudera Manager ? Cloudera Manager是一个管理CDH的端到端的应用。 ? 作用： – 管理 – 监控 – 诊断 – 集成 ? 架构 ? Server – 管理控制台服务器和应用程序逻辑 – 负责软件安装、配置，启动和停止服务 – 管理服务运行的群集 ? Agen
分类：
其他好文 时间：
2016-03-19 00:56:45
阅读次数：
811
1、Apache Hadoop 不足之处 ? 版本管理混乱 ? 部署过程繁琐、升级过程复杂 ? 兼容性差 ? 安全性低 2、Hadoop 发行版 ? Apache Hadoop ? Cloudera’s Distribution Including Apache Hadoop（CDH） ? Hort
分类：
其他好文 时间：
2016-03-18 23:35:30
阅读次数：
611
为了测试方便记录下hadoop伪分布式部署：包下载地址：http://archive.cloudera.com/cdh5/cdh/5/我选用的是cdh5.4.5版本etc/profile 配置文件export JAVA_HOME=/home/jdk1.7.0_79export JRE_HOME=/h...
分类：
其他好文 时间：
2016-01-26 18:07:39
阅读次数：
163
参考http://blog.csdn.net/lalaguozhe/article/details/10912527 环境：hadoop2.3cdh5.0.2 hive 1.2.1 目标：安装lzo 测试作业运行与hive表创建使用lzo格式存储 之前安装试用snappy的时候，发现cdh解压后的n...
分类：
其他好文 时间：
2016-01-23 10:20:16
阅读次数：
196
前言 在使用cdh集群过程中，难免会因为某些不可抗拒的原因导致节点IP或hostName变动，而cm的监控界面无法完成这些事情，但是cm将集群中所有的主机的信息都存在postgresql数据库的hosts表中， 现在让我们来通过修改hosts来完成这个操作。第一步，关闭服务1. 关闭集群服务，及 ....
分类：
其他好文 时间：
2016-01-14 14:13:45
阅读次数：
235
鲁春利的工作笔记，好记性不如烂笔头Impala是Cloudra公司发布的实时查询开源项目，基于Hive但使用内存进行计算，是使用CDH的首选PB级大数据实时查询分析引擎。Impala的安装方式有两种，CM方式和手动安装，手动安装比较麻烦，需要额外的步骤验证与其他组件的交互，这里采用CM的..
分类：
其他好文 时间：
2016-01-07 01:21:39
阅读次数：
179
cm 安装cdh 后添加hive服务，出现错误提示添加服务时候hive 配置如下：错误信息提示：错误日志：xec /opt/cloudera/parcels/CDH-5.4.7-1.cdh5.4.7.p0.3/lib/hadoop/bin/hadoop jar /opt/cloudera/parce...
分类：
其他好文 时间：
2015-12-25 17:10:56
阅读次数：
1248
系统环境 操作系统：CentOS 6.5 Cloudera Manager 版本：4.8.1 CDH版本：4.5.0各机器准备工作： yum -y groupinstall "Development tools" yum -y install wgetCloudera-manager压缩包...
分类：
其他好文 时间：
2015-12-20 07:02:50
阅读次数：
250
本例记录spark源码编译的过程及问题因为编译会有很多很多莫名其妙的错误，为了方便，使用hadoop的cdh版本，注意版本要和我的一致，环境：maven3.0.5 scala2.10.4 下载地址：http://www.scala-la...
分类：
其他好文 时间：
2015-12-15 20:50:49
阅读次数：
167
