前言 最近刚接触Hadoop, 一直没有弄明白NameNode和Secondary NameNode的区别和关系。很多人都认为，Secondary NameNode是NameNode的备份，是为了防止NameNode的单点失败的，直到读了这篇文章Secondary Namenode - What i ...
分类：
其他好文 时间：
2019-01-03 14:01:00
阅读次数：
209
1.准备Linux环境 1.0先将虚拟机的网络模式选为NAT 1.1修改主机名 vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=itcast ### 1.2修改IP 两种方式： 第一种：通过Linu... ...
分类：
其他好文 时间：
2019-01-02 23:21:16
阅读次数：
224
如题出现Namenode经常挂掉 IPC's epoch 9 is less than the last promised epoch 10， 解决方案 可以在core-site.xml文件中修改ha.health-monitor.rpc-timeout.ms参数值，来扩大zkfc监控检查超时时间。 ...
分类：
其他好文 时间：
2019-01-02 23:18:29
阅读次数：
869
常用的端口配置 2.1 HDFS端口 参数 描述 默认 配置文件 例子值 fs.default.name namenode namenode RPC交互端口 8020 core-site.xml hdfs://master:8020/ dfs.http.address NameNode web管理端 ...
分类：
其他好文 时间：
2019-01-02 12:27:28
阅读次数：
277
Hadoop Distributed File System 易于拓展的分布式文件系统 运行在大量普通廉价机器上，提供容错机制 为大量用户提供性能不错的文件存取服务 NameNode Namenode是一个中心服务器，==单一节点==（简化系统的设计和实现），==负责管理文件系统的名字空间（name ...
分类：
其他好文 时间：
2018-12-27 03:35:18
阅读次数：
152
设计思想 分而治之：将大文件、大批量文件，分布式放在大量服务器上，以便于采取分而治之的方式对海量数据进行预算分析； 在大数据系统中的作用：为各类分布式运算框架（如：MapReduce,Spark等)提供数据存储服务 重要概念：文件切块，副本存放，元数据 HDFS架构 HDFS各节点 NameNode ...
分类：
其他好文 时间：
2018-12-25 23:37:03
阅读次数：
217
一、NameNode 基础 1、NameNode元数据（metadata） 包含了整个HDFS文件系统的所有目录和文件信息。（储存在内存中） 对于目录来说包括修改时间、访问权限控制信息(目录所属用户，所在组)等。 对于文件来说包括数据块描述信息、修改时间、访问时间等； 内存中有一份完整的元数据（使得 ...
分类：
其他好文 时间：
2018-12-25 13:21:17
阅读次数：
182
Hadoop 的端口 50070 > http port namenode 50075 > http port datanode 50090 > http port secondaryNamenode 50010 > rpc port namenode 8020 > rpc port datanod ...
分类：
其他好文 时间：
2018-12-21 13:20:15
阅读次数：
180
1、在做格式化时，/bin/hdfs namenode -format出错：ERROR namenode.NameNode: Failed to start namenode.java.lang.IllegalArgumentException: URI has an authority compo ...
分类：
其他好文 时间：
2018-12-20 20:29:22
阅读次数：
214
1.分布式文件系统存储副本的方式 1).客户端负责写所有副本。例如每个block要存3个副本，客户端要将3个副本都存到DataNode上才算成功 2).客户端是负责写一个副本。剩下的副本由NameNode负责，DataNode向其他DataNode复制（形成一个管道），复制和客户端写block是异步 ...
分类：
其他好文 时间：
2018-12-20 19:00:49
阅读次数：
146
