请参考上一个链接地址：hdfs为什么不擅长存储大量小文件https://blog.51cto.com/12445535/2354951概述：namenodereplication（复制）复制默认块复制因子（dfs.replication）为3。复制影响磁盘空间但不影响内存消耗。复制会更改每个块所需的存储量，但不会更改块的数量。如果DataNode上的一个块文件（由NameNode上的一个块表示）被
分类：
其他好文 时间：
2019-06-12 16:31:40
阅读次数：
256
端口用途9000fs.defaultFS，如：hdfs://172.25.40.171:90009001dfs.namenode.rpc-address，DataNode会连接这个端口50070dfs.namenode.http-address50470dfs.namenode.https-addr ...
分类：
其他好文 时间：
2019-06-11 22:18:53
阅读次数：
198
SNN是用来保存namenode中对HDFS metadata的信息的备份，并减少namenode重启的时间，SNN进程默认运行在 namenode 机器上，如果这台机器出错，宕机，对恢复HDFS文件系统是很大的灾难，因此最佳方式是将SNN进程配置在另外一台机器上运行。 在hadoop中，namen ...
分类：
其他好文 时间：
2019-06-11 22:17:14
阅读次数：
234
一。 HDFS概念 1.1 概念 HDFS是一个分布式文件系统，用于存储文件，通过目录树来定位文件，适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。 1.2 组成 1）HDFS集群包括，NameNode和DataNode以及Secondary Namen ...
分类：
其他好文 时间：
2019-06-11 09:15:49
阅读次数：
120
设置SSH免密钥 关于ssh免密码的设置，要求每两台主机之间设置免密码，自己的主机与自己的主机之间也要求设置免密码。 这项操作可以在admin用户下执行，执行完毕公钥在/home/admin/.ssh/id_rsa.pub node1与node2为namenode节点要相互免秘钥 HDFS的HA n ...
分类：
其他好文 时间：
2019-06-10 00:15:15
阅读次数：
120
在Hadoop中，有一些命名不好的模块，Secondary NameNode是其中之一。从它的名字上看，它给人的感觉就像是NameNode的备份。但它实际上却不是。很多Hadoop的初学者都很疑惑，Secondary NameNode究竟是做什么的，而且它为什么会出现在HDFS中。 从它的名字来看， ...
分类：
其他好文 时间：
2019-06-09 23:43:00
阅读次数：
125
223. 矩形面积 223. Rectangle Area 题目描述 在二维平面上计算出两个由直线构成的矩形重叠后形成的总面积。 每个矩形由其左下顶点和右上顶点坐标表示，如图所示。 LeetCode223. Rectangle Area中等 示例: 输入: 3, 0, 3, 4, 0, 1, 9, ...
分类：
其他好文 时间：
2019-06-09 19:42:08
阅读次数：
131
之前在使用时的没用去懂.ssh,后来因为一些情况直接将其权限修改为777. 第一位7等于4+2+1，所以就是rwx，所有者有读取、写入、执行的权限；第二位7也是4+2+1，rwx，同组用户具有读取、写入、执行权限；第三位7，代表公共用户有读取、写入、执行的权限。 在启动datanode和nameno ...
分类：
其他好文 时间：
2019-06-09 00:39:26
阅读次数：
215
什么是NameNode和DataNode？他们是如何协同工作的？ ...
分类：
其他好文 时间：
2019-06-07 19:19:52
阅读次数：
85
首次使用Hadoop时，格式化文件系统命令：hdfs namenode -format 启动HDFS：start-dfs.sh 启动YARN：start-all.sh start-all.sh等价于start-dfs.sh + start-yarn.sh ...
分类：
其他好文 时间：
2019-06-07 17:54:24
阅读次数：
90
