一、主机规划、存储规划 服务器配置信息：CentOS6.5 最小化安装+development tools组包，其余组件yum安装即可。 二、系统设置如下： 1、服务器信息如下（/etc/hosts文件）： 192.168.100.231 db01.chavin.king db01 192.168. ...
分类：
其他好文 时间：
2017-04-18 13:16:34
阅读次数：
276
一、选择环境： 1.说明 本次部署使用台机器，3台用于搭建CDH集群，1台为内部源。内部源机器是可以连接公网的，可以提前部署好内部源，本次部署涉及到的服务器的hosts配置如下： 192.168.10.114 sp-04 192.168.10.115 sp-05 192.168.10.116 sp- ...
分类：
其他好文 时间：
2017-04-10 14:22:06
阅读次数：
4794
一、使用hadoop发行版CDH5.9.0 开启HBase 1.2.0 开启HDFS 2.6.0 开启ZooKeeper 二、使用Storm 0.0.1-incubating 该版本没有external模块 三、使用kafka_2.10-0.9.0.1 （2.1.0表示编译kafka所使用的scal ...
分类：
其他好文 时间：
2017-04-07 20:27:32
阅读次数：
183
flume日志采集框架使用 本次学习使用的全部过程均不在集群上，均在本机环境，供学习参考 先决条件： flume-ng-1.6.0-cdh5.8.3.tar 去cloudrea下载flume框架，笔者是用cdh5.8.3的套餐 flume-ng-1.6.0-cdh5.8.3.tar 去cloudre ...
分类：
Web程序 时间：
2017-04-02 14:38:46
阅读次数：
242
1. 软件版本：IDE：Intellij IDEA 14，Java：1.7，Scala：2.10.6；Tomcat：7，CDH：5.8.0； Spark：1.6.0-cdh5.8.0-hadoop2....
分类：
编程语言 时间：
2017-03-18 21:34:09
阅读次数：
500
CDH版本：5.10.0 IDE环境：win7 64位 MyEclipse2015 spark模式：yarn 提交模式：yarn-client 之前同样的IDE环境下，向alone模式的spark提交任务，一直很顺利，今天测了一下spark on yarn模式，提交只能是yarn-client模式， ...
CDH-cdh5.8.3离线安装--Mysql5.7二进制部署1.检查系统是否有安装过的mysql，需要卸载干净#rpm-qa|grep-imysqlmysql-server-5.1.71-1.el6.x86_64mysql-5.1.71-1.el6.x86_64mysql-devel-5.1.71-1.el6.x86_64qt-mysql-4.6.2-26.el6_4.x86_64mysql-libs-5.1.71-1.el6.x86_64perl-DB..
分类：
数据库 时间：
2016-12-29 23:42:48
阅读次数：
1506
软件环境：CDH：5.7.3；Oozie：4.1.0-CDH5.7.3 ； Spark：1.6.0-cdh5.7.3-hadoop2.6.0-cdh5.7.3 ； Hadoop：hadoop2.6.0...
分类：
其他好文 时间：
2016-12-25 18:49:30
阅读次数：
251
关于CDH和Cloudera ManagerCDH (Cloudera's Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。Clo... ...
分类：
其他好文 时间：
2016-12-12 15:10:01
阅读次数：
262
基础环境sqoop：sqoop-1.4.5+cdh5.3.6+78，hive：hive-0.13.1+cdh5.3.6+397，hbase：hbase-0.98.6+cdh5.3.6+115Sqool和Hive、HBase简介SqoopSqoop是一个用来将Hadoop和关系型数据库中的数据相互转移... ...
分类：
数据库 时间：
2016-12-12 11:38:28
阅读次数：
1558
