1、系统centOS7以上 2、配置免密登陆 3、ntp时钟同步 四、系统调优 1、配置主机名并写入host文件，并将hosts文件同步到各节点； 2、关闭防火墙和selinux； 3、关闭dns反向查寻，优化登陆时间，如果不关登陆会很慢，会有一个dns反向查寻的时间； sed -i 's@#Use ...
分类：
其他好文 时间：
2019-06-30 09:57:32
阅读次数：
144
1. 集群环境配置 https://www.cnblogs.com/yinzhengjie/articles/11019333.html 2. 二进制方法安装 https://www.cnblogs.com/yinzhengjie/articles/11019525.html 3. yum方式部署自 ...
分类：
其他好文 时间：
2019-06-27 11:02:08
阅读次数：
97
ps：具体Kafka Flumn SparkStreaming的使用 参考前几篇博客 (1) 在slave机器上配置broker 1) 点击CDH上的kafka进入kafka功能界面，切换到实例页签，点击下方的“添加角色实例”进入添加角色实例界面。 2) 进入添加角色界面，点击Kafka Broke ...
分类：
编程语言 时间：
2019-06-21 13:09:52
阅读次数：
160
一、前置准备1. 基础信息1.1 机器机器名服务hadoop1主节点hadoop2data、taskhadoop3data、task1.2 服务版本服务版本cdh5.15.2cm5.15.2jdk1.82. 创建hadoop用户不直接建议使用root用户，所以此处新建 hadoop用户2.1 添加用... ...
分类：
其他好文 时间：
2019-06-20 18:45:07
阅读次数：
624
Server端需要打开端口 7180 7182 选址正确的版本，cdh版本不要高于cm版本 CM下载地址 http://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.13.3_x86_64.tar.gz CDH下载地址 http ...
分类：
其他好文 时间：
2019-06-20 09:15:59
阅读次数：
261
集群规划 hostname ip mac 硬盘 内存 cMaster 192.168.1.100 00:50:56:3D:97:A5 25GB 3G cSlave01 192.168.1.101 00:50:56:28:C5:C9 20GB 2G cSlave02 192.168.1.102 00: ...
分类：
其他好文 时间：
2019-06-19 21:59:04
阅读次数：
133
更换国内比较快的yum源 163 cd /etc/yum.repos.d mv CentOS-Base.repo CentOS-Base.repo.backup wget http://mirrors.163.com/.help/CentOS6-Base-163.repo mv CentOS6-Ba ...
分类：
系统相关 时间：
2019-06-19 20:28:00
阅读次数：
241
部署环境 准备的软件包，cloudera官网可以直接下载 https://archive.cloudera.com/cdh5 https://archive.cloudera.com/cm5 10.1.1.120 c1.heboan.com 10.1.1.121 c2.heboan.com 10.1 ...
分类：
其他好文 时间：
2019-06-19 00:34:58
阅读次数：
355
注意：如果未初始化数据目录，则无法启动ZooKeeper服务器。//在生产环境中，您应该将ZooKeeper部署为具有奇数个服务器的集合。只要集合中的大多数服务器可用，ZooKeeper服务就可用。建议的最小集合大小是三个ZooKeeper服务器，Cloudera建议每个服务器在单独的计算机上运行。此外，如果可能，ZooKeeper服务器进程应该有自己的专用磁盘存储。//查看zk的状态[root@
分类：
其他好文 时间：
2019-06-12 13:58:05
阅读次数：
826
在安装CDH的时候报错了： 我们研究一下 scm_prepare_database.sh的参数 /opt/cm-5.13.0/share/cmf/schema/scm_prepare_database.sh -hd001 -P3306 --scm-host d001 --force mysql cd ...
分类：
数据库 时间：
2019-06-11 12:44:21
阅读次数：
154
