一、HDFS是一个分布式文件系统 体系架构： hdfs主要包含了3部分，namenode、datanode和secondaryNameNode namenode主要作用和运行方式： 1）管理hdfs的元数据信息，文件名字，大小，切成几块，有几个副本，切成块和副本分别存储在datanode的位置，块i ...
分类：
其他好文 时间：
2019-07-10 12:20:30
阅读次数：
130
hdfs集群组成结构： 安装hdfs集群的具体步骤： 1、学习阶段，用虚拟机即可！ 先准备4台虚拟机：1个namenode节点 + 3 个datanode 节点 2、修改各台机器的主机名和ip地址 主机名：hdp-01 对应的ip地址：192.168.33.61 主机名：hdp-02 对应的ip地址 ...
分类：
其他好文 时间：
2019-07-09 09:13:38
阅读次数：
117
一、报错信息： Starting namenodes on [master] ERROR: Attempting to operate on hdfs namenode as root ERROR: but there is no HDFS_NAMENODE_USER defined. Aborti ...
分类：
其他好文 时间：
2019-07-04 17:40:26
阅读次数：
252
1.前提环境关掉防火墙 2.绑定/etc/hosts 3.部署ansible (git clone git@github.com:heheping0312/ansible.git) yum -y install ansible [root@nn01 test]# pwd/root/test [roo ...
分类：
其他好文 时间：
2019-07-03 19:54:41
阅读次数：
113
一、心跳机制 1、心跳报告概念 datanode会定时的向namenode发送心跳报告，目的是告诉namenode自己的存活状况以及可用空间。这个时间默认为3秒。 2、心跳报告具体作用 （1）向namenode汇报自己的存活状况以及可用空间 （2）向namenode发送块报告，每一个datanode ...
分类：
其他好文 时间：
2019-06-30 20:53:26
阅读次数：
337
一、高可用简介 二、集群规划 三、前置条件 四、集群配置 五、启动集群 六、查看集群 七、集群的二次启动 一、高可用简介 Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用，两者的实现基本类似，但 HDFS NameNode 对数据存储及其一致性 ...
分类：
其他好文 时间：
2019-06-25 09:44:28
阅读次数：
100
/etc/hadoop/conf/hadoop-metrics2.properties namenode.sink.ganglia.servers=10.0.0.1:8649 datanode.sink.ganglia.servers=10.0.0.1:8649 journalnode.sink.g... ...
分类：
其他好文 时间：
2019-06-20 15:47:39
阅读次数：
110
1、dfs.nameservices 说明：为namenode集群定义一个services name 默认值：null 比如设置为：ns1 2、dfs.ha.namenodes.<dfs.nameservices> 说明：nameservice 包含哪些namenode，为各个namenode起名 ...
分类：
其他好文 时间：
2019-06-19 20:15:34
阅读次数：
76
一、安装JDK，并配置环境变量。因为Hadoop是以Java开发的，所以必须先安装Java环境二、安装SSH，设置SSH无密码登录。Hadoop是由很多台服务器所组成的。当我们启动Hadoop系统时，NameNode必须与DataNode连接，并管理这些节点(DataNode)。此时系统会要求用户输 ...
分类：
其他好文 时间：
2019-06-17 01:21:52
阅读次数：
121
HDFS高可用性Hadoop HDFS 的两大问题：NameNode单点：虽然有StandbyNameNode，但是冷备方案，达不到高可用--阶段性的合并edits和fsimage，以缩短集群启动的时间--当NameNode失效的时候，Secondary NN并无法立刻提供服务，Secondary ...
分类：
Web程序 时间：
2019-06-14 18:22:47
阅读次数：
298
