测试环境 节点: 2 台主节点，6台计算节点 机器配置: 16个物理核 128G内存 12*3T磁盘 操作系统: redhat 7.2 版本: CDH 5.7.1-1.cdh5.7.1.p0.11 impala_kudu 2.7.0-1.cdh5.9.0.p0.23 kudu 0.9.1-1.kud ...
分类：
其他好文 时间：
2016-09-01 11:06:29
阅读次数：
262
一、环境搭建 1. 下载 mahout-0.9-cdh5.3.6.tar.gz 2. 解压 3. mahout org.apache.mahout.clustering.syntheticcontrol.kmeans.Job hdfs dfs -ls /output 转换成普通文本 hdfs dfs ...
分类：
其他好文 时间：
2016-08-31 18:42:21
阅读次数：
133
Hadoop 是一个开源项目，所以很多公司在这个基础进行商业化，Cloudera 对 Hadoop做了相应的改变。Cloudera 公司的发行版，我们将该版本称为 CDH（Cloudera Distribution Hadoop），它最主要的作用是管理、监控、诊断、集成。 这个很像咱们日常安装软件一 ...
分类：
其他好文 时间：
2016-08-21 18:29:58
阅读次数：
198
如果已经有了lzo文件，可以采用如下方法添加索引： bin/yarn jar /module/cloudera/parcels/GPLEXTRAS-5.4.0-1.cdh5.4.0.p0.27/lib/hadoop/lib/hadoop-lzo-0.4.15-cdh5.4.0.jar com.had ...
分类：
其他好文 时间：
2016-08-15 17:11:16
阅读次数：
235
实现目标 Hive map hbase 1,启动hive hbase 在hive hbase服务启动的情况下, $HIVE_HOME/bin/hive --auxpath $HIVE_HOME/lib/hive-hbase-handler-1.1.0-cdh5.7.1.jar,$HIVE_HOME/ ...
分类：
其他好文 时间：
2016-08-11 12:36:26
阅读次数：
266
一、虚拟机的安装和网络配置。 1、虚拟机安装。 2、安装CentOS-6.5 64位版本。 桥接模式； Master： 内存：3G； 硬盘容量40G； 4核； Slave： 内存2G； 硬盘容量30G； 2核； 3、网络配置(master,slave) 1)进入root账号 su - root 输入 ...
分类：
其他好文 时间：
2016-08-05 13:36:04
阅读次数：
196
1、部署基本信息说明： 1.1、主机信息 操作系统：选择CentOS6.7 x86-64版本 MEM：64GB，CPU: E5-2630 v3 @ 2.40GHz, DISK:2TB*4(数据节点存储，操作系统除外） 主机信息： 主机名 IP dcnn1 10.20.20.1 dcnn2 10.20 ...
分类：
其他好文 时间：
2016-08-04 21:17:54
阅读次数：
253
说明： hadoop版本：hadoop-2.5.0-cdh5.3.6 环境：centos6.4 必须可联网 hadoop 下载网址： http://archive.cloudera.com/cdh5/cdh/5/ 其实编译还真就是体力活，按照官方的说明，一步步往下做就可以了，不过总会遇到坑。。 编译 ...
分类：
其他好文 时间：
2016-08-04 19:11:50
阅读次数：
196
一、搭建hadoop环境 《OD大数据实战》hadoop伪分布式环境搭建 二、hive环境搭建 1. 准备安装文件 下载地址： http://archive.cloudera.com/cdh5/cdh/5/ hive-0.13.1-cdh5.3.6.tar.gz 2. 解压 3. 修改配置 1）修改 ...
分类：
其他好文 时间：
2016-08-01 21:00:51
阅读次数：
194
HDFS配置 参考文档：http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.5.0/manual.html Hadoop配置文件修改 hdfs-site.xml core-site.html HUE配置文件修改 [[hdfs_clusters] ...
分类：
其他好文 时间：
2016-07-20 06:30:53
阅读次数：
203
