standby namenode无法启动 现象：线上使用的2.5.0 cdh5.3.2版本Hadoop，开启了了NameNode HA，HA采用QJM方式。hadoop的集群的namenode的standby节点宕掉，重启无法启动成功。 1. standby namenode出现异常时的现象 异常现 ...
分类：
数据库 时间：
2018-01-22 12:01:45
阅读次数：
1182
学习Hadoop 实现TF-IDF 算法，使用的是CDH5.13.1 VM版本，Hadoop用的是2.6.0的jar包，Maven中增加如下即可 代码如下: 整体实现算是比较简单，第一个MR计算idf，map是统计每个文档出现过的词，都记成1次，然后reducer统计所有的，这样就得到了每一个词的i ...
分类：
其他好文 时间：
2018-01-15 00:18:23
阅读次数：
254
1. 概述 Apache Kylin?是一个开源的分布式分析引擎，提供Hadoop之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。 2. 内容 在集成Kylin到CDH Hadoop环境中时，发现新版 ...
分类：
其他好文 时间：
2018-01-13 16:53:55
阅读次数：
744
版本 ：hive-0.13.1-cdh5.3.6.tar.gz 1：解压 然后 进到 conf 目录 修改 sqoop-env.sh 2：如果使用mysql 数据库 要将 mysql驱动包拷贝到 sqoop安装目录的lib文件夹下 ...
分类：
其他好文 时间：
2017-12-06 17:45:39
阅读次数：
100
1、 安装flumeflume安装，解压后修改flume_env.sh配置文件，指定java_home即可。cp hdfs jar包到flume lib目录下（否则无法抽取数据到hdfs上）：$ cp /opt/cdh-5.3.6/hadoop-2.5.0-cdh5.3.6/share/hadoop... ...
分类：
Web程序 时间：
2017-11-26 11:09:58
阅读次数：
253
最近在centos7上安装CDH5.10.0 认不到主机 异常提示： cloudemanager安装时出现ProtocolError: <ProtocolError for 127.0.0.1/RPC2: 401 Unauthorized> 问题解决方法：所有agent主机上执行 ...
分类：
其他好文 时间：
2017-10-14 16:44:31
阅读次数：
289
安装oozie经历了好长的时间，先是源码包，但是放弃了。。。然后就是安装的这个CDH版本的，弄了好久，经常报各种错误。最后整理出来这篇。先对文件进行下载：这里使用的是CDH版本的，免编译，看着编译的过程就够了。下载地址：http://archive.cloudera.com/cdh5/cdh/5/oozie-4.1..
分类：
其他好文 时间：
2017-10-13 14:59:10
阅读次数：
1282
知识点1：创建关联Hbase的Hive表 知识点2：Spark访问Hive 知识点3：Spark访问与Hbase关联的Hive表 知识点1：创建关联Hbase的Hive表 两种方式创建，内部表和外部表 内部表，如果删除hive表，hbase表也会删除；不建议使用这种方式，大多数都是关联进行查询操作 ...
分类：
其他好文 时间：
2017-10-03 14:33:31
阅读次数：
207
如果是使用了Cloudera来安装到此路径下： /opt/cloudera/parcels/CDH-5.10.2-1.cdh5.10.2.p0.5/bin 执行： sudo ./yarn application -kill application_XXXX ...
分类：
其他好文 时间：
2017-10-01 21:13:34
阅读次数：
142
用了一周多的时间终于把CDH版Hadoop部署在了测试环境，本文将就这个部署过程做个总结。 一、Hadoop版本选择。 Hadoop大致可分为Apache Hadoop和第三方发行第三方发行版Hadoop，考虑到Hadoop集群部署的高效，集群的稳定性，以及后期集中的配置管理，业界多使用Cloude ...
分类：
其他好文 时间：
2017-09-22 17:57:40
阅读次数：
206
