如图： 是通过网上提供的ISO 镜像文件进行的安装，不过没能使用 JDK安装好后，配置环境变量， 格式化hdfs namenode -format 运行案例PI 遇到异常： 配置hostname ，主机名称要和配置文件一致 这个问题是配置文件中没有修改为主机名称host160 此问题是配置文件 需要 ...
分类：
其他好文 时间：
2019-02-28 18:24:59
阅读次数：
196
hadoop fs -put localfile . 时出现如下错误：could only be replicated to 0 nodes, instead of 1网友的说法：这个问题是由于没有添加节点的原因，也就是说需要先启动namenode，再启动datanode，然后启动jobtracke ...
分类：
其他好文 时间：
2019-02-25 18:51:58
阅读次数：
158
Zookeeper在Hadoop的HA中的应用 非HA的弊端： HDFS集群的分布式存储是靠namenode节点（namenode负责响应客户端请求）来实现。在非HA集群中一旦namenode宕机，虽然元数据不会丢失，但整个集群将无法对外提供服务，导致HDFS服务的可靠性不高，这在实际应用场景中显然 ...
分类：
其他好文 时间：
2019-02-22 23:17:22
阅读次数：
178
HDFS的六大高级特性： 安全模式 安全模式是HDFS所处的一种特殊状态，在这种状态下，文件系统只接受读数据请求，而不接受删除、修改等变更请求。在NameNode主节点启动时，HDFS首先进入安全模式，DataNode在启动的时候会向namenode汇报可用的block等状态，让NameNode得到 ...
分类：
其他好文 时间：
2019-02-22 12:44:52
阅读次数：
231
解决方式步骤： 1、进入hdfs的pod kubectl get pod -o wide | grep hdfs kubectl exec -ti hadoop-hdfs-namenode-hdfs1-948569108-c5d70 bash 2、获取票据 kinit -kt /etc/hdfs1/ ...
分类：
其他好文 时间：
2019-02-22 12:28:51
阅读次数：
318
HDFS的shell操作和JavaAPI的使用： WEB WEB端口50090查看SecondaryNameNode信息。可以查看Hadoop的版本，NameNode的IP，Checkpoint等信息。 WEB端口50070可以查看HDFS的信息和目录结构 SHELL 查看 创建文件夹 新建文件 查 ...
1.hdfs三个进程分别为namenode、datanode、secondarynamenode hdfs是hadoop的一个组件，hadoop一共有3个组件分别为hdfs，yarn，mapreduce，这三个组件的功能分别为存储，调度，计算 hdfs三个进程要以hadoop002启动需要配置文件， ...
分类：
其他好文 时间：
2019-02-19 21:17:52
阅读次数：
228
HDFS最近学习总结一.hdfs整体运行机制：客户把一个文件存入HDFS中，其实HDFS会把文件切成块进行存储，会分散存储到N台Linux系统中（存储文件块的角色是:datanode）(重要的是切块的行为是由客户端决定的)一旦文件被切块切块存储，HDFS一定要有个机制，需要记录每一个文件的切块信息和每个切块具体的存储机器。（记录块信息的是namenode）需要保证数据的安全性，HDFS将每一个块都
分类：
其他好文 时间：
2019-02-12 18:55:50
阅读次数：
126
集群格式化hdfs后，在主节点运行启动hdfs后，发现namenode启动了，而datanode没有启动，在其他节点上jps后没有datanode进程！原因： 当我们使用hdfs namenode -format格式化namenode时，会在namenode数据文件夹中保存一个current/VER ...
分类：
其他好文 时间：
2019-02-10 20:16:29
阅读次数：
195
第1章 HDFS概述1.1 HDFS产出背景及定义1.2 HDFS优缺点1.3 HDFS组成架构1.4 HDFS文件块大小（面试重点）第2章 HDFS的Shell操作（开发重点）第3章 HDFS客户端操作（开发重点）3.1 HDFS客户端环境准备3.2 HDFS的API操作3.2.1 HDFS文件上 ...
分类：
系统相关 时间：
2019-02-05 23:44:37
阅读次数：
345
