文件系统元数据的持久化 Namenode存储HDFS的元数据。对于任何对文件元数据产生修改的操作，Namenode都使用一个称为Editlog的事务日志记录下来。例如，在HDFS中创建一个文件，Namenode就会在Editlog中插入一条记录来表示；同样，修改文件的replication因子也将往 ...
分类：
其他好文 时间：
2018-01-26 00:27:14
阅读次数：
194
在Hadoop中，有一些命名不好的模块，Secondary NameNode是其中之一。从它的名字上看，它给人的感觉就像是NameNode的备份。但它实际上却不是。HDFS集群有两类节点以管理者和工作者的工作模式运行，namenode就是其中的管理者。它管理着文件系统的命名空间，维护着文件系统树及整 ...
分类：
其他好文 时间：
2018-01-26 00:25:14
阅读次数：
207
===> 环境架构部署规划： bigdata1 NameNode ResourceManager Zookeeper JournalNode failOverController bigdata2 NameNode ResourceManager Zookeeper JournalNode failOverController bigdata3 DataNode NodeM
分类：
其他好文 时间：
2018-01-24 16:57:09
阅读次数：
247
standby namenode无法启动 现象：线上使用的2.5.0 cdh5.3.2版本Hadoop，开启了了NameNode HA，HA采用QJM方式。hadoop的集群的namenode的standby节点宕掉，重启无法启动成功。 1. standby namenode出现异常时的现象 异常现 ...
分类：
数据库 时间：
2018-01-22 12:01:45
阅读次数：
1182
1、使用HDFS提供的客户端Client，向远程的Namenode发起RPC请求；2、Namenode会视情况返回文件的部分或者全部block列表，对于每个block，Namenode都会返回有该block拷贝的DataNode地址；3、客户端Client会选取离客户端最近的DataNode来读取block；如果客户端本身就是DataNode，那么将从本地直接获取数据；4、读取完当前block的数
分类：
其他好文 时间：
2018-01-14 16:49:50
阅读次数：
151
1、使用HDFS提供的客户端Client，向远程的Namenode发起RPC请求2、Namenode会检查要创建的文件是否已经存在，创建者是否有权限进行操作，成功则会为文件创建一个记录，否则会让客户端抛出异常；3、当客户端开始写入文件的时候，客户端会将文件切分成多个packets，并在内部以数据队列“data queue（数据队列）”的形式管理这些packets，并向Namenode申请block
分类：
其他好文 时间：
2018-01-14 16:47:59
阅读次数：
148
在执行hdfs namenode -format时 报错 Error occurred during initialization of VMjava.lang.Error: Properties init: Could not determine current working directory ...
分类：
编程语言 时间：
2018-01-12 22:38:47
阅读次数：
1362
** Hadoop框架基础（五） 已经部署了Hadoop的完全分布式集群，我们知道NameNode节点的正常运行对于整个HDFS系统来说非常重要，如果NameNode宕掉了，那么整个HDFS就要整段垮掉了，所以人类思考，能不能让世界多一点爱：），我们能不能弄个备用的NameNode，一旦正在使用的N ...
分类：
其他好文 时间：
2018-01-12 22:36:14
阅读次数：
241
查看状态 hdfs haadmin -getServiceState nn1 有时候通过网页访问两个namenode的http-address，看到默认的主namenode状态变成了standy，这时可以通过下面命令来实现主namenode的状态切换成active。 hdfs haadmin -fa ...
分类：
其他好文 时间：
2018-01-10 14:10:00
阅读次数：
200
1、mongodb安装好后第一次进入是不需要密码的，也没有任何用户， 通过shell命令可直接进入，cd到mongodb目录下的bin文件夹，执行命令./mongo即可 运行如下： [root@namenode mongodb]# ./bin/mongo MongoDB shell version: ...
分类：
数据库 时间：
2018-01-07 17:28:06
阅读次数：
177
