Hadoop 服务划分 使用三台节点，集群部署规划如下 服务\主机 hadoop1 hadoop2 hadoop3 HDFS NameNode DataNode DataNode SecondaryNameNode DataNode YARN NodeManager ResourceManager ...
分类：
其他好文 时间：
2019-03-30 23:59:19
阅读次数：
346
环境：CentOS7.5192.168.11.205test2192.168.11.206test3192.168.11.207test4-8g设置host#vim/etc/hosts192.168.11.205test2192.168.11.206test3192.168.11.207test4-8安装jdk(三个节点都需要)https://www.oracle.com/technetwork/
分类：
其他好文 时间：
2018-10-30 18:46:07
阅读次数：
155
1.首先将运行在本地上的 zookeeper 给停止掉 2.到/opt/softwares 目录下 将 zookeeper解压到 /opt/app 目录下 命令: tar -zxvf zookeeper-3.4.5.tar.gz -C /opt/app/ 3.修改配置文件 将文件 zoo_sampl ...
分类：
其他好文 时间：
2018-09-30 14:52:22
阅读次数：
174
What is Zookeeper 是一个开源的分布式的，为分布式应用提供协作服务的Apache项目 提供一个简单的原语集合，以便与分布式应用可以在他之上构建更高层次的同步服务 设计非常简单易于编程，他使用的是类似于文件系统那样的树形数据结构。 目的就是将分布式服务不再需要有协作冲突而另外实现协作服 ...
分类：
其他好文 时间：
2018-09-30 12:42:50
阅读次数：
194
1.对 hadoop 进行格式化 到 /opt/app/hadoop-2.5.0 目录下 执行命令： bin/hdfs namenode -format 执行的效果图如下 ( 下图成功 格式化 不要没事格式化 ) 2.启动dfs 执行命令(在 /opt/app/hadoop-2.5.0/目录下): ...
分类：
其他好文 时间：
2018-09-29 22:04:57
阅读次数：
175
******************* 一定要使这三台机器的用户名相同，安装目录相同 ************* SSH 无密钥登录的简单介绍（之前再搭建本地伪分布式的时候，就生成了，现在这三台机器的公钥私钥都是一样的，所以下面这个不用配置） 单机操作： 生成密钥：命令 ssh-keygen -t ...
分类：
其他好文 时间：
2018-09-29 21:36:07
阅读次数：
229
准备硬件环境此次用到三台计算机，三台计算机的系统都是Linux，并且以安装好JAVA。IP地址和角色为：namenode：192.168.0.1datanode：192.168.0.2datanode：192.168.0.3三台计算机之间能够正确解析彼此。因此需要修改/etc/hosts文件，主节点上需要将所有节点的IP地址以及相对应..
分类：
其他好文 时间：
2016-09-06 01:20:25
阅读次数：
177
在启动Hadoop分布式部署的过程中，发现datanode没有正常启动，查看了一下日志发现报错：java.io.IOException: Incompatible clusterIDs in /opt/hadoop-2.5/dfs/data: namenode clusterID = CID-adf...
分类：
其他好文 时间：
2016-01-23 23:03:41
阅读次数：
224
SSH 无密 码原理简介 :首先在 hadoop1 上生成一个密 钥对，包括一个公钥和一个私钥，并将公钥复制到所有的 slave(hadoop2-hadoop4) 上。然后当 master 通 过 SSH 连接 slave 时， slave 就会生成一个随机数并用 master 的公 钥对随机数进行...
分类：
其他好文 时间：
2015-07-30 12:47:40
阅读次数：
153
