Apache YARN(Yet Another Resource Negotiator)是一个Hadoop集群资源管理系统。YARN是在Hadoop 2引入的，用以改善MapReduce的表现。但是它也足够胜任其它的分布式计算框架。 YARN提供了一些能被请求调用的APIs，并处理集群资源。但是通常 ...
分类：
其他好文 时间：
2018-11-08 13:44:40
阅读次数：
152
版本 Hadoop3.1.0 https://archive.apache.org/dist/hadoop/common/hadoop-3.1.0/ jdk1.8 zookeeper3.4.6 https://archive.apache.org/dist/zookeeper/zookeeper-3 ...
分类：
其他好文 时间：
2018-11-04 21:04:33
阅读次数：
150
1、 什么是Mapreduce Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架； Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序， 并发运行在一个hadoop集群上； 2、Mapreduce框 ...
分类：
其他好文 时间：
2018-11-04 19:42:44
阅读次数：
196
问题： 搭建伪Hadoop集群的时候，运行命令： 格式化或者说初始化namenode。 然后用命令： 来启动hdfs时，jps发现datanode先是启动了一下，然后就挂掉了，在http://192.168.195.128:50070 （HDFS管理界面）也看不到datanode的信息。 然后去da ...
分类：
其他好文 时间：
2018-11-03 16:32:16
阅读次数：
257
环境搭建 CentOS集群搭建 写在前面 最近有许多小伙伴问我，大数据的hadoop分布式集群该如何去搭建。所以，想着，就写一篇博客，帮助到更多刚入门大数据的人。本博客会一步一步带你实现一个Hadoop的搭建。跟着博客上面的步骤，很详细的。你很快就会有一个自己的hadoop集群啦。 我是在自己的wi ...
分类：
其他好文 时间：
2018-10-31 15:50:49
阅读次数：
170
环境搭建 Hadoop集群搭建 写在前面，前面我们快速搭建好了centos的集群环境，接下来，我们就来开始hadoop的集群的搭建工作 实验环境 Hadoop版本：CDH 5.7.0 这里，我想说一下，我们我没有选择官方版本，是因为，cdh版本已经解决好了各个组件之间的依赖。因为，后面，我们还会使用 ...
分类：
其他好文 时间：
2018-10-31 15:37:14
阅读次数：
250
在搭建Hadoop集群的时候，遇到了这样的一个报错。 就在启动HDFS调用命令： 的时候，报错： 然后输密码就一直很奇怪，反正一直运行不成功。 百度了半天，确定是core-site.xml的问题。 这段代码决定了什么namenode 的rpcaddress： 可是我左看右看都看不出哪里错，这个hos ...
分类：
其他好文 时间：
2018-10-27 00:00:26
阅读次数：
309
安装jdk 一、通过ppa源下载： 1.添加ppa元， sudo add-apt-repository ppa:webupd8team/java #等待一会儿 sudo apt-get update 2.安装oracle-java-installer sudo apt-get install ora ...
分类：
其他好文 时间：
2018-10-18 18:07:10
阅读次数：
161
Hadoop进阶 1.配置SSH免密 （1）修改slaves文件 切换到master机器，本节操作全在master进行。 进入/usr/hadoop/etc/hadoop目录下，找到slaves文件，修改： （2）发送公钥 进入根目录下的.ssh目录： 1. 生成公私钥 ssh keygen t r ...
分类：
其他好文 时间：
2018-10-17 14:33:56
阅读次数：
170
