spark 环境搭建 下载的压缩文件放在~/software/ 解压安装在~/app/ 一：分布式文件系统搭建HDFS 1，下载Hadoop HDFS环境搭建 使用版本：hadoop-2.6.0-cdh5.7.0 下载：wget http://archive.cloudera.com/cdh5/cd ...
分类：
其他好文 时间：
2017-07-18 10:03:51
阅读次数：
163
背景 从业务发展需求，大数据平台须要使用spark作为机器学习、数据挖掘、实时计算等工作，所以决定使用Cloudera Manager5.2.0版本号和CDH5。 曾经搭建过Cloudera Manager4.8.2和CDH4，在搭建Cloudera Manager5.2.0版本号的时候，发现对应的 ...
分类：
数据库 时间：
2017-06-15 14:24:36
阅读次数：
248
原文地址：http://www.cnblogs.com/qiaoyihang/p/6995146.html 1、下载源码：http://archive-primary.cloudera.com/cdh5/cdh/5/ 2、准备编译环境 a、安装maven b、安装protobuffer ./conf ...
分类：
移动开发 时间：
2017-06-13 00:03:22
阅读次数：
319
0.集群规划 说明：因为CDH能够方便的动态加入删除主机，动态改变主机上的服务，所以后面再对各机器上跑得服务进行分配。 共三台机器 操作系统: centos6.5 机器名：work01、work02、work03 work03执行Cloudera Manager 1.关闭防火墙 和 SELinux ...
分类：
其他好文 时间：
2017-06-04 19:58:48
阅读次数：
424
Impala在线文档介绍了 Impala ODBC接口安装和配置 http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH5/latest/Impala/Installing-and-Using-Impala/ciiu_im ...
分类：
数据库 时间：
2017-06-02 11:37:38
阅读次数：
444
1.解压安装spark tar zxf spark-2.1.O-bin-2.6.0-CDH5.10.0.tgz 2.修改配置文件 vim /etc/profile export SPARK_HOME=/opt/spark/spark-2.1.O export PATH=$PATH:$SPARK_HO ...
分类：
其他好文 时间：
2017-05-24 18:24:59
阅读次数：
158
1、进入hadoop的配置目录 ，找到 环境变量的 $HADOOP_HOME cd $HADOOP_HOME 2、修改dataNode 节点的 单个map的能使用的内存配置 找到配置的文件： /opt/aisc/app/hadoop-2.3.0-cdh5.1.2/etc/hadoop/mapred- ...
分类：
其他好文 时间：
2017-05-02 23:45:26
阅读次数：
260
kettle6.1 连接hadoop2.6.0-CDH5.5.0 参考官网链接：http://wiki.pentaho.com/display/BAD/Configuring+Pentaho+for+your+Hadoop+Distro+and+Version 1,hadoop version 查看 ...
分类：
其他好文 时间：
2017-05-02 11:49:13
阅读次数：
444
这里使用的版本号是cdh发行的pig-0.12.0-cdh5.1.2 下载地址点这里 1.Pig简单介绍： Pig是yahoo捐献给apache的一个项目。它是SQL-like语言。是在MapReduce上构建的一种高级查询语言，把一些运算编译进MapReduce模型的Map和Reduce中，而且用 ...
分类：
其他好文 时间：
2017-04-30 12:43:57
阅读次数：
210
一、前期准备 1.操作系统版本 # cat /etc/redhat-release CentOS release 6.5 (Final) # uname –aLinux enc-bigdata05 2.6.32-431.el6.x86_64 #1 SMP Fri Nov 22 03:15:09 UT ...
分类：
数据库 时间：
2017-04-18 18:29:00
阅读次数：
908
