本篇将在阿里云ECS服务器部署HADOOP集群（一）：Hadoop完全分布式集群环境搭建的基础上搭建，多添加了一个 datanode 节点 。 1 节点环境介绍： 1.1 环境介绍： 服务器：三台阿里云ECS服务器：master, slave1, slave2 操作系统：CentOS 7.3 Had ...
分类：
其他好文 时间：
2019-11-23 13:10:47
阅读次数：
98
本篇将在阿里云ECS服务器部署HADOOP集群（一）：Hadoop完全分布式集群环境搭建的基础上搭建，多添加了一个 datanode 节点 。 1 节点环境介绍： 1.1 环境介绍： 服务器：三台阿里云ECS服务器：master, slave1, slave2 操作系统：CentOS 7.3 Had ...
分类：
其他好文 时间：
2019-11-23 13:04:25
阅读次数：
81
HA工作机制 （配置HA高可用传送门：https://www.cnblogs.com/zhqin/p/11904317.html） HA：高可用（7 24小时不中断服务） 主要的HA是针对集群的master节点的，即namenode和resourcemanager，毕竟DataNode挂掉之后影响 ...
分类：
其他好文 时间：
2019-11-21 16:59:14
阅读次数：
122
hadoop及NameNode和SecondaryNameNode工作机制 1.hadoop组成 Common MapReduce Yarn HDFS （1）HDFS namenode：存放目录，最重要的（主机） datanode：存放数据。（从机） 2namenode：“助手” （2）YARN R ...
分类：
其他好文 时间：
2019-11-21 12:21:17
阅读次数：
83
HA工作机制 HA：高可用（7 24小时不中断服务） 主要的HA是针对集群的master节点的，即namenode和resourcemanager，毕竟DataNode挂掉之后影响 不是特别大，重启就好了。 HDFS的HA HDFS HA功能通过配置Active/Standby两个NameNodes ...
分类：
其他好文 时间：
2019-11-21 11:42:34
阅读次数：
151
环境介绍 | tuge1 | tuge2 | tuge3 | tuge4 | | | : | | | | NameNode | NameNode | DataNode | DataNode | | ZooKeeper | ZooKeeper | ZooKeeper | ZooKeeper | | | ...
分类：
其他好文 时间：
2019-11-18 18:31:53
阅读次数：
80
一、简介 1、分布式文件系统钢结构 分布式文件系统由计算机集群中的多个节点构成，这些节点分为两类： 主节点（MasterNode）或者名称节点（NameNode） 从节点（Slave Node）或者数据节点（DataNode） 2、HDFS能够带来什么好处 兼容廉价的硬件设备 流数据读写 大数据集 ...
分类：
其他好文 时间：
2019-11-15 12:07:41
阅读次数：
209
1、hadoop-env.sh配置，2、hdfs-site.xml配置文件，3、core-site.xml配置文件，4、mapred-site.xml配置，5、yarn-site.xml配置，6、slaves配置（DataNode）
分类：
其他好文 时间：
2019-11-09 23:32:30
阅读次数：
135
本文结合HDFS的副本和分块从宏观上描述HDFS存入文件的整个流程。HDFS体系中包含Client、NameNode、DataNode、SeconderyNameode四个角色，其中Client是客户端，NN负责管理，DN负责存储、SN协助管理。 ...
分类：
其他好文 时间：
2019-11-08 12:46:03
阅读次数：
99
网上拉取Docker模板，使用singlarities/hadoop镜像 查看： 创建docker-compose.yml文件，内容： 执行： 4个datanode: 效果图； hdfs基础命令： 1、创建目录 2、查看目录 3、级联创建目录 4、级联列出目录 5、上传本地文件到HDFS 6、查看H ...
分类：
其他好文 时间：
2019-11-02 13:39:46
阅读次数：
123
