docker hadoop Hadoop网页管理地址: NameNode: http://192.168.59.1:50070/ ResourceManager: http://192.168.59.1:8088/ 192.168.59.1为运行容器的主机的IP。 "源地址" 安装docker 安装 ...
分类：
其他好文 时间：
2019-11-21 10:09:21
阅读次数：
81
环境介绍 | tuge1 | tuge2 | tuge3 | tuge4 | | | : | | | | NameNode | NameNode | DataNode | DataNode | | ZooKeeper | ZooKeeper | ZooKeeper | ZooKeeper | | | ...
分类：
其他好文 时间：
2019-11-18 18:31:53
阅读次数：
80
一、简介 1、分布式文件系统钢结构 分布式文件系统由计算机集群中的多个节点构成，这些节点分为两类： 主节点（MasterNode）或者名称节点（NameNode） 从节点（Slave Node）或者数据节点（DataNode） 2、HDFS能够带来什么好处 兼容廉价的硬件设备 流数据读写 大数据集 ...
分类：
其他好文 时间：
2019-11-15 12:07:41
阅读次数：
209
本文结合HDFS的副本和分块从宏观上描述HDFS存入文件的整个流程。HDFS体系中包含Client、NameNode、DataNode、SeconderyNameode四个角色，其中Client是客户端，NN负责管理，DN负责存储、SN协助管理。 ...
分类：
其他好文 时间：
2019-11-08 12:46:03
阅读次数：
99
一、hdfsnamenodeHA1、概述?在hadoop1.0的时候，hdfs集群中namenode存在单点故障的问题，当namenode不可用的时候，就会导致整个hdfs集群服务不可用。另外如果需要临时对namenode进行设计或者其他操作时，停掉namenode之后，hdfs集群也无法使用了。?通过HA的方式，可以一定程度上解决单点故障问题。2、namenodeHA工作要点1）元数据管理方式需
分类：
其他好文 时间：
2019-11-03 01:34:32
阅读次数：
89
NN1 NN2 DN ZK ZKFC JNNNODE01 * * *NODE02 * * * * *NODE03 * * *NODE04 * * 1、首先让两个NameNode能互相免密钥，在前一部分中node01已经能免密登陆node02了，所以再让node02免密登陆自己和node01就行 2、 ...
分类：
其他好文 时间：
2019-10-31 23:28:46
阅读次数：
123
HDFS是英文Hadoop Distributed File System的缩写，中文翻译为Hadoop分布式文件系统，它是实现分布式存储的一个系统，所以分布式存储有的特点，HDFS都会有，HDFS的架构图： 上图中HDFS的NameNode其实就是对应着分布式存储的Storage master，主 ...
分类：
其他好文 时间：
2019-10-28 10:45:47
阅读次数：
326
1. HDFS架构是怎样的？ hadoop1.x中采用master/slave架构，hdfs集群有一个namenode和多个datanode组成。 namenode namenode负责原数据的管理，包括文件目录和文件的元数据管理。 namenode文件到block块位置的映射，namenode并不 ...
分类：
其他好文 时间：
2019-10-27 18:39:03
阅读次数：
100
Yarn http://192.168.56.2:8088/ http://192.168.56.2:9870 summary Namenode ports: 50470 --> 9871, 50070 --> 9870, 8020 --> 9820 Secondary NN ports: 5009 ...
分类：
其他好文 时间：
2019-10-27 12:29:40
阅读次数：
101
记一次关闭Hadoop时no namenode to stop异常 ? 在自己的虚拟机环境上跑着hadoop集群，一直正常运行着，不用的时候直接挂起虚拟机，今天需要做些调整，但是发现集群突然无法正常关闭了。遂祭出百度大法~： 大家都知道，关闭集群的命令是 和`stop yarn.sh`,然鹅我执行完 ...
分类：
其他好文 时间：
2019-10-26 00:54:18
阅读次数：
109
