近日需要在项目用到kafka，然后本地使用cdh集成的kafka 进行安装调试，以及些样例代码，sparkstreaming 相关调用kafka 的代码使用的原始的api 而没有走zookeeper，虽然消费者能启动，但无法消费内容。 开始我使用shell下的zk方式是可以消费误认为kafka也是没有问题
分类：
其他好文 时间：
2018-08-08 11:07:00
阅读次数：
367
从这篇开始记录一下集群迁移的事情早先因为机房没地方，就已经开始规划集群搬机房的事情，最近终于开始动手了，我会把这次不停机迁移的过程遇到的主要问题和矛盾以及各种解决方法记录下来。集群规模说大不大，几百台，总容量30PB左右。Hadoop使用CDH 5.5.1加一些自定义patch的rpm打包编译版本。总的方案是集群不停机，在两个机房之间架设专线，旧机房decommission，拉到新机房recomm
分类：
其他好文 时间：
2018-07-31 17:27:47
阅读次数：
176
CDH的CM节点挂掉，两个NameNode之前无法通信
分类：
其他好文 时间：
2018-07-21 16:56:49
阅读次数：
416
1.cdh添加组件-sentry-选择主机-配置数据库 2.配置数据库 1）mysql -uroot -p 2) create database sentry DEFAULT CHARSET utf8 COLLATE utf8_general_ci; 3) grant all privileges ...
分类：
其他好文 时间：
2018-07-18 15:11:38
阅读次数：
429
在cdh集群中，删除之前的hive服务，然后将hive添加到其他节点，然后再通过hive客户端连接hive报错： 解决办法： ...
分类：
数据库 时间：
2018-07-17 18:05:57
阅读次数：
1102
出版商: hortonworks研发了Ambari和hdp的大数据分析集成平台 cloudera研发了cloudera manger和cdh大数据分析集成平台 稳定性: cloudera相对来说比较稳定 ambari相对来说不稳定(页面打开速度慢) 资源消耗: cloudera manager的se ...
分类：
其他好文 时间：
2018-07-16 00:59:45
阅读次数：
10565
概述 Impala可以直接在存储在HDFS，HBase或Amazon Simple Storage Service（S3）中的Apache Hadoop数据上提供快速，交互式的SQL查询。 除了使用相同的统一存储平台，Impala和Apache Hive一样还使用相同的元数据，SQL语法（Hive ...
分类：
其他好文 时间：
2018-07-11 20:03:34
阅读次数：
175
下载https://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.9.3.tar.gz 1、配置环境变量 vim /etc/proflie export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64exp ...
分类：
其他好文 时间：
2018-06-30 18:51:10
阅读次数：
226
[创建目录]hdfs dfs -mkdir -p /user/hdfs/sample_data/csv/devicehdfs dfs -mkdir -p /user/hdfs/sample_data/csv/metrics [赋予权限]sudo -u hdfs hadoop fs -chown -R ...
分类：
其他好文 时间：
2018-06-27 14:56:34
阅读次数：
1190
添加kafka1.下载kafka包http://archive.cloudera.com/kafka/parcels/latest/把包放到parcel-repo目录2.下载csd包http://archive.cloudera.com/csds/kafka/放到csd目录3.分配kafka包并激活注意：如果进度卡在“已解压”，直接返回重新进来就会看到“激活”4添加kafka角色.默认选项即可安装
分类：
其他好文 时间：
2018-06-27 12:16:12
阅读次数：
145
