一、报错信息: Starting namenodes on [master] ERROR: Attempting to operate on hdfs namenode as root ERROR: but there is no HDFS_NAMENODE_USER defined. Aborti ...
分类:
其他好文 时间:
2019-07-04 17:40:26
阅读次数:
252
1.前提环境关掉防火墙 2.绑定/etc/hosts 3.部署ansible (git clone git@github.com:heheping0312/ansible.git) yum -y install ansible [root@nn01 test]# pwd/root/test [roo ...
分类:
其他好文 时间:
2019-07-03 19:54:41
阅读次数:
113
一、心跳机制 1、心跳报告概念 datanode会定时的向namenode发送心跳报告,目的是告诉namenode自己的存活状况以及可用空间。这个时间默认为3秒。 2、心跳报告具体作用 (1)向namenode汇报自己的存活状况以及可用空间 (2)向namenode发送块报告,每一个datanode ...
分类:
其他好文 时间:
2019-06-30 20:53:26
阅读次数:
337
InnoDB存储引擎的关键特性包括插入缓冲、两次写(double write)、自适应哈希索引(adaptive hash index)。这些特性为InnoDB存储引擎带来了更好的性能和更高的可靠性。 插入缓冲 插入缓冲是InnoDB存储引擎关键特性中最令人激动的。不过,这个名字可能会让人认为插入缓 ...
分类:
数据库 时间:
2019-06-30 16:01:35
阅读次数:
140
一、高可用简介 二、集群规划 三、前置条件 四、集群配置 五、启动集群 六、查看集群 七、集群的二次启动 一、高可用简介 Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用,两者的实现基本类似,但 HDFS NameNode 对数据存储及其一致性 ...
分类:
其他好文 时间:
2019-06-25 09:44:28
阅读次数:
100
jQuery UI (译:jQuery用户界面) 是:以 jQuery 为基础的开源 JavaScript 网页用户界面代码库。包含底层用户交互、动画、特效和可更换主题的可视控件。我们可以直接用它来构建具有很好交互性的web应用程序。所有插件测试能兼容IE 6.0+, Firefox 3+, Saf ...
分类:
Web程序 时间:
2019-06-22 12:17:12
阅读次数:
146
/etc/hadoop/conf/hadoop-metrics2.properties namenode.sink.ganglia.servers=10.0.0.1:8649 datanode.sink.ganglia.servers=10.0.0.1:8649 journalnode.sink.g... ...
分类:
其他好文 时间:
2019-06-20 15:47:39
阅读次数:
110
1、dfs.nameservices 说明:为namenode集群定义一个services name 默认值:null 比如设置为:ns1 2、dfs.ha.namenodes.<dfs.nameservices> 说明:nameservice 包含哪些namenode,为各个namenode起名 ...
分类:
其他好文 时间:
2019-06-19 20:15:34
阅读次数:
76
一、安装JDK,并配置环境变量。因为Hadoop是以Java开发的,所以必须先安装Java环境二、安装SSH,设置SSH无密码登录。Hadoop是由很多台服务器所组成的。当我们启动Hadoop系统时,NameNode必须与DataNode连接,并管理这些节点(DataNode)。此时系统会要求用户输 ...
分类:
其他好文 时间:
2019-06-17 01:21:52
阅读次数:
121
HDFS高可用性Hadoop HDFS 的两大问题:NameNode单点:虽然有StandbyNameNode,但是冷备方案,达不到高可用--阶段性的合并edits和fsimage,以缩短集群启动的时间--当NameNode失效的时候,Secondary NN并无法立刻提供服务,Secondary ...
分类:
Web程序 时间:
2019-06-14 18:22:47
阅读次数:
298