NameNode&Secondary NameNode 工作机制 NameNode: 1.启动时，加载编辑日志和镜像文件到内存 2.当客户端对元数据进行增删改，请求NameNode 3.NameNode记录操作日志，更新滚动日志 4.日志记录完成，在NameNode内存中对元数据进行操作 edits ...
分类：
其他好文 时间：
2020-02-14 13:17:05
阅读次数：
86
1131 cd /apps/hadoop/hdfs/namenode/ 1132 rm -rf current in_use.lock 1133 cd /apps/hadoop/hdfs/data/ 1134 rm -rf current in_use.lock 1135 cd /hadoop/hd ...
分类：
其他好文 时间：
2020-02-08 11:25:21
阅读次数：
80
本次部署haddoop集群三台hostname:HBASE01 HBASE02 HBASE03 192.168.240.129 HBASE01 192.168.240.130 HBASE02 192.168.240.131 HBASE03 将HBASE01 HBASE02作为namenode节点，H ...
分类：
其他好文 时间：
2020-02-06 14:24:12
阅读次数：
69
四、hdfs的安全模式 安全模式是HDFS所处的一种特殊状态，在这种状态下，文件系统只接受读数据请求，而不接受删除、修改等变更请求。在NameNode主节点启动时，HDFS首先进入安全模式，DataNode在启动的时候会向namenode汇报可用的block等状态，当整个系统达到安全标准时，HDFS ...
分类：
其他好文 时间：
2020-02-05 09:54:39
阅读次数：
101
本篇介绍在centos7中大家hadoop2.10完全分布式，首先准备4台机器：1台nn(namenode);3台dn(datanode) IP hostname 进程 192.168.30.141 s141 nn（namenode） 192.168.30.142 s142 dn（datanode） ...
分类：
其他好文 时间：
2020-01-29 23:34:39
阅读次数：
104
1、首先打开 hive DEBUG日志，执行以下命令，直接将日志输出到控制台 2、我们知道HIVE启动过程中，首先会先连接hive metastore，然后在连接HDFS namenode，我们可以根据日志时间点来判断和排查哪一步执行时间过长导致。 3、如果是hive metastore 连接过慢， ...
分类：
其他好文 时间：
2020-01-29 23:31:34
阅读次数：
285
hadoop 集群中有两种节点，一种是namenode，还有一种是datanode。 其中datanode主要负责数据的存储，namenode主要负责三个功能，分别是(1)管理元数据 (2)维护目录树 (3)响应客户请求 首先介绍下，元数据格式 hdfs在外界看来就是普通的文件系统，可以通过路径进行 ...
分类：
其他好文 时间：
2020-01-22 13:07:22
阅读次数：
117
一、Hadoop NameNode详解 参考： https://blog.csdn.net/lb812913059/article/details/78713634 （主要看这篇即可） https://blog.csdn.net/u010846741/article/details/52369527 ...
分类：
其他好文 时间：
2020-01-22 10:53:54
阅读次数：
65
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的... ...
分类：
其他好文 时间：
2020-01-09 00:58:47
阅读次数：
95
+ Hadoop常见的端口 + Hadoop生态圈 + Hadoop配置文件以及简单的Hadoop集群搭建 + Hadoop参数调优 + 项目经验之基准测试 + Hadoop宕机 + Hadoop 高可用配置 Hadoop 常见的端口 ? dfs.namenode.http address:5007 ...
分类：
其他好文 时间：
2020-01-08 19:08:08
阅读次数：
91
