简介： CDH的parcel包中是没有kafka的，kafka被剥离了出来，需要从新下载parcel包安装。或者在线安装，但是在线安装都很慢，这里使用下载parcel包离线安装的方式。 PS:kafka有很多版本，CDH也有很多版本，那也许你会疑问如何知道你的CDH应该安装什么kafka版本。这个官 ...
分类：
其他好文 时间：
2018-06-08 19:23:09
阅读次数：
196
工具和环境 idea2018.1 ， scala2.11.8， scala的idea支持包，下载地址 maven3.3.9 win10系统 1.maven环境配置 下载解压maven包,(也可以使用idea自带的，其目录：\IntelliJ IDEA 2018.1\plugins\maven\lib ...
分类：
其他好文 时间：
2018-06-08 18:02:40
阅读次数：
498
前言 其实cloudera已经做了这个事了，只是把kafka的包和cdh的parcel包分离了，只要我们把分离开的kafka的服务描述jar包和服务parcel包下载了，就可以实现完美集成了。 具体实现的简要步骤可参照cloudera官网提供的文档：http://www.cloudera.com/c ...
分类：
其他好文 时间：
2018-06-08 17:27:16
阅读次数：
583
参考资料：http://kafka.apache.org/quickstart 进入kafka安装目录（CDH安装路径为：/opt/cloudera/parcels/KAFKA）：进入bin目录： cd /opt/cloudera/parcels/CDH-5.10.0-1.cdh5.10.0.p0. ...
分类：
其他好文 时间：
2018-06-08 17:22:46
阅读次数：
201
CentOS 7.3 CDH 5.10.0安装记录 0. 集群规划192.167.1.247 realtime247 realtime+hadoopdata192.167.1.248 broker248 broker192.167.1.249 history249 middleware+histor ...
分类：
其他好文 时间：
2018-06-07 22:53:59
阅读次数：
1342
公司平时使用的CDH版本的hadoop生态，spark任务是基于yarn来管理的，而不是基于原生的spark master slave集群管理。 因此任务的大致启动模式是： 如果是Cluster模式： 1. A节点启动Spark submit，这个程序即为client，client连接Resourc ...
分类：
其他好文 时间：
2018-06-06 22:05:40
阅读次数：
676
笔者安装CDH集群是参照官方文档:https://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_install_path_b.html 1.在集群中所有服务器（包含CM管理节点和各个agent节点）中安装JDK 2.安装m ...
分类：
其他好文 时间：
2018-06-05 21:16:49
阅读次数：
234
前言：上篇文章我们介绍了Hive源码编译的相关内容，本篇文章将主要介绍Hive环境的搭建步骤及简单使用。1.下载安装包并解压#下载地址http://archive.cloudera.com/cdh5/cdh/5/选择hive-1.1.0-cdh5.7.0.tar.gz包，也可用我们上篇文章编译来的包[hadoop@hadoop000~]$lltotal32drwxrwxr-x4hadoophado
分类：
其他好文 时间：
2018-06-03 00:56:57
阅读次数：
158
一、准备 1、关闭cdh中的服务 hdfs、yarn等所有服务；关闭 cm-server、cm-agent；备份cm元数据库。 2、下载 CDH-5.13.3-1.cdh5.13.3.p0.2-el7.parcel CDH-5.13.3-1.cdh5.13.3.p0.2-el7.parcel.sha ...
分类：
其他好文 时间：
2018-06-01 20:38:36
阅读次数：
327
不多说，直接上干货！ 很多同行，也许都知道，对于我们大数据搭建而言，目前主流，分为Apache 和 Cloudera 和 Ambari。 后两者我不多说，是公司必备和大多数高校科研环境所必须的！ 分别，详情见我如下的博客 Cloudera安装搭建部署大数据集群（图文分五大步详解）（博主强烈推荐） A ...
分类：
系统相关 时间：
2018-05-31 13:21:23
阅读次数：
255
