CDH5包下载：http://archive.cloudera.com/cdh5/ 架构设计： 主机规划： IP Host 部署模块 进程 192.168.254.151 Hadoop-NN-01 NameNode ResourceManager NameNode DFSZKFailoverCont ...
分类：
其他好文 时间：
2016-05-02 13:05:48
阅读次数：
237
CDH (Cloudera’s Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。 Cloudera Manager则是为了便于在集 ...
分类：
其他好文 时间：
2016-05-01 17:31:48
阅读次数：
279
安装和配置Sentry 本文主要记录安装和配置Sentry的过程，关于Sentry的介绍，请参考 Apache Sentry架构介绍 。 1. 环境说明 系统环境： 操作系统：CentOs 6.6 Hadoop版本： CDH5.4 运行用户：root 这里，我参考 使用yum安装CDH Hadoop ...
分类：
其他好文 时间：
2016-04-24 15:28:41
阅读次数：
420
之前一直结合Maven开发Hadoop2.2.0的程序。环境换成CDH5.2后报错，发现是Maven依赖库的问题。 之前一直使用 http://mvnrepository.com/ 查找maven依赖。但这类站点仅仅能查到通用的maven依赖，没有包括CDH依赖。还好Cloudera提供了CDH的依 ...
分类：
其他好文 时间：
2016-04-21 10:00:14
阅读次数：
169
一、简介 CDH是cloudera公司开发的一个快速部署、高效管理Hadoop和其各种组件的一个商业化产品。主要分为两部分，分别为Cloudera Manager和CDH软件包。其中Cloudera Manager负责集群的部署与管理。CDH软件包囊括了hdaoop各类的组件的安装包，例如hive、hdfs、spark等等。
由于实验室服务器集群实现了硬件虚拟化，要在虚拟资源重新搭建CDH...
分类：
其他好文 时间：
2016-04-17 22:55:40
阅读次数：
202
HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于B ...
分类：
数据库 时间：
2016-04-12 07:07:59
阅读次数：
308
1.课程环境 本课程涉及的技术产品及相关版本： 技术 版本 Linux CentOS 6.5 Java 1.7 Hadoop2.0 2.6.0 Hadoop1.0 1.2.1 Zookeeper 3.4.6 CDH Hadoop 5.3.0 Vmware 10 Hive 0.13.1 HBase 0 ...
分类：
其他好文 时间：
2016-04-12 07:06:19
阅读次数：
372
Sqoop 关系DB与Hive/HDFS/HBase导入导出的Mapreduce框架。 http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.4-cdh5.1.0/SqoopUserGuide.html ETL: Extraction-Transforma ...
分类：
其他好文 时间：
2016-04-05 15:35:01
阅读次数：
230
CDH对我们已经封装了，我们如果需要Spark on Yarn，只需要yum安装几个包就可以了。前面的文章我有写过如果搭建自己内网的CDH Yum服务器，请参考《CDH 5.5.1 Yum源服务器搭建》http://www.cnblogs.com/luguoyuanf/p/56187ea1049f4... ...
分类：
其他好文 时间：
2016-03-26 12:18:57
阅读次数：
153
环境规划操作系统版本:CentOS-6.5-x86_64-minimal.iso192.168.253.241master虚拟机4G内存192.168.253.242slave1虚拟机2G内存192.168.253.243slave2虚拟机2G内存一、环境初始化1、修改主机名(每台机器都执行)192.168.253.241master
192.168.253.242slave1
192.168.253.243slave2..
分类：
其他好文 时间：
2016-03-07 19:28:30
阅读次数：
597
