NameNode 高可用 ?为什么 NameNode 需要高可用 – NameNode 是 HDFS 的核心配置,HDFS 又是 Hadoop 的核心组件,NameNode 在 Hadoop 集群中至关重要,NameNode机器宕机,将导致集群不可用,如果NameNode 数据丢失将导致整个集群的数 ...
分类：
其他好文 时间：
2018-09-05 17:36:05
阅读次数：
204
在https://issues.apache.org/jira/browse/HDFS-4705找到了答案需要在hdfs-site.xml中配置 这样指定了fsimage的存储目录后,再执行importCheckpoint命令就可以了,需要注意的是要把namesecondary目录拷贝到与name目 ...
分类：
其他好文 时间：
2018-09-03 12:06:44
阅读次数：
643
1. 集群规划：192.167.1.252 palo252 Namenode+Datanode192.167.1.253 palo253 YarnManager+Datanode+SecondaryNameNode192.167.1.254 palo254 Datanode 2. 设定固定IP地址v ...
分类：
其他好文 时间：
2018-09-02 21:50:57
阅读次数：
160
hdfs名词解释： Block: 在hdfs中文件都是采用分块的方式存储，每个block放在不同的DataNode上，block标识是一个三元组（block ID，numBytes，generationStamp），blockID是唯一的，具体分配由namenode节点设置，然后再由DataNode ...
分类：
其他好文 时间：
2018-08-30 18:28:02
阅读次数：
245
前面我们提到的HDFS，了解了HDFS的特性和架构。HDFS能够存储TB甚至PB规模的数据是有前提的，首先数据要以大文件为主，其次NameNode的内存要足够大。对HDFS有所了解的同学肯定都知道，NameNode是HDFS的存储着整个集群的元数据信息，比如所有文件和目录信息等等。而且当元数据信息较 ...
分类：
其他好文 时间：
2018-08-30 14:30:52
阅读次数：
137
HDFS HA高可用 1 HA概述 1）所谓HA（high available），即高可用（7*24小时不中断服务）。 2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 3）Hadoop2.0之前，在HDFS集群中NameNode存在 ...
分类：
其他好文 时间：
2018-08-29 13:56:07
阅读次数：
132
## 使用QJM实现HDFS的HA配置### 1、背景hadoop 2.0.0之前，namenode存在单点故障问题（SPOF，single point of failure），如果主机或进程不可用时，整个集群就变得不可用，直到namenode进行重启或产生新的namenode。主要有两种方式会影响... ...
分类：
其他好文 时间：
2018-08-27 21:53:52
阅读次数：
160
### HDFS分布式文件系统
1. 分布式存储
2. 分布式计算 ### 2、hadoop
hadoop含有四个模块，分别是 common、 hdfs和yarn。
1. common 公共模块。 2. HDFS hadoop distributed file system，hadoop分布式文件系... ...
分类：
其他好文 时间：
2018-08-27 21:29:28
阅读次数：
257
HDFS 读取文件 HDFS的文件读取原理，主要包括以下几个步骤： 1、首先调用FileSystem对象的open方法，其实获取的是一个DistributedFileSystem的 实例。 2、DistributedFileSystem通过RPC(远程过程调用)获得文件的第一批block的 loca ...
分类：
其他好文 时间：
2018-08-26 15:38:37
阅读次数：
213
HDFS NameNode对文件块复制相关所有事物负责，它周期性接受来自于DataNode的HeartBeat和BlockReport信息，HDFS文件块副本的放置对于系统整体的可靠性和性能有关键性影响。 一个简单但非优化的副本放置策略是，把副本分别放在不同机架，甚至不同IDC。这样可以防止整个机架 ...
分类：
其他好文 时间：
2018-08-21 20:12:41
阅读次数：
313
