hadoop fs -put localfile . 时出现如下错误：could only be replicated to 0 nodes, instead of 1网友的说法：这个问题是由于没有添加节点的原因，也就是说需要先启动namenode，再启动datanode，然后启动jobtracke ...
分类：
其他好文 时间：
2019-02-25 18:51:58
阅读次数：
158
HDFS的六大高级特性： 安全模式 安全模式是HDFS所处的一种特殊状态，在这种状态下，文件系统只接受读数据请求，而不接受删除、修改等变更请求。在NameNode主节点启动时，HDFS首先进入安全模式，DataNode在启动的时候会向namenode汇报可用的block等状态，让NameNode得到 ...
分类：
其他好文 时间：
2019-02-22 12:44:52
阅读次数：
231
1.hdfs三个进程分别为namenode、datanode、secondarynamenode hdfs是hadoop的一个组件，hadoop一共有3个组件分别为hdfs，yarn，mapreduce，这三个组件的功能分别为存储，调度，计算 hdfs三个进程要以hadoop002启动需要配置文件， ...
分类：
其他好文 时间：
2019-02-19 21:17:52
阅读次数：
228
集群中有一台datanode一直启动报错如下： java.net.BindException: Problem binding to [$server1:50020] java.net.BindException: Address already in use; For more details s ...
分类：
其他好文 时间：
2019-02-15 18:22:59
阅读次数：
307
HDFS最近学习总结一.hdfs整体运行机制：客户把一个文件存入HDFS中，其实HDFS会把文件切成块进行存储，会分散存储到N台Linux系统中（存储文件块的角色是:datanode）(重要的是切块的行为是由客户端决定的)一旦文件被切块切块存储，HDFS一定要有个机制，需要记录每一个文件的切块信息和每个切块具体的存储机器。（记录块信息的是namenode）需要保证数据的安全性，HDFS将每一个块都
分类：
其他好文 时间：
2019-02-12 18:55:50
阅读次数：
126
集群格式化hdfs后，在主节点运行启动hdfs后，发现namenode启动了，而datanode没有启动，在其他节点上jps后没有datanode进程！原因： 当我们使用hdfs namenode -format格式化namenode时，会在namenode数据文件夹中保存一个current/VER ...
分类：
其他好文 时间：
2019-02-10 20:16:29
阅读次数：
195
第6章 DataNode（面试开发重点）6.1 DataNode工作机制6.2 数据完整性6.3 掉线时限参数设置6.4 服役新数据节点6.5 退役旧数据节点6.5.1 添加白名单6.5.2 黑名单退役6.6 Datanode多目录配置第7章 HDFS 2.X新特性7.1 集群间数据拷贝7.2 小文 ...
分类：
其他好文 时间：
2019-02-09 18:00:13
阅读次数：
212
集群模式 HDFS 元数据 NameNode DataNode ...
分类：
其他好文 时间：
2019-02-04 15:23:25
阅读次数：
169
1.单机(非分布式)模式 这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。 2.伪分布式运行模式 这种模式也是在一台单机上运行，但用不同的Java进程模仿分布式运行中的各类结点: (NameNode,DataNode,JobTracker,TaskTracker,S ...
分类：
其他好文 时间：
2019-01-27 13:00:41
阅读次数：
191
1、环境介绍 服务器：CentOS 6.8 其中：2 台 namenode、3 台 datanode JDK：jdk-8u191-linux-x64.tar.gz hadoop：hadoop-3.1.1.tar.gz 节点信息： 2、配置hosts ...
分类：
其他好文 时间：
2019-01-24 00:33:28
阅读次数：
197
