bin 下格式化ZKFC，命令./hdfs zkfc -formatZK，报HA is not enable for this namenode错误，如下图 经过检查hdfs_site.xml文件，发现配置错误，因为后面配置的都是nn1，nn2,而红框处，应该也是nn1,nn2，此处要保持前后一致（ ...
分类：
其他好文 时间：
2019-03-04 09:15:56
阅读次数：
740
namenode在内存和磁盘中都保存了fsimage和edits文件 内存中保证hdfs文件系统的访问效率，磁盘中保证hdfs文件系统的安全性 namenode的文件组成： fsimage文件：保存文件系统中直至上次checkpoint为止 的目录和文件元数据 edits文件：保存文件系统中直至上次 ...
分类：
其他好文 时间：
2019-03-01 17:13:53
阅读次数：
213
HDFS分布式文件系统 环境准备： 1.安装java环境 2.配置/etc/hosts 3.配置ssh信任关系（NameNode) 配置文件 (参考 : https://hadoop.apache.org/docs/r2.7.6/） 环境配置文件 /usr/local/hadoop/etc/hado ...
分类：
其他好文 时间：
2019-02-28 18:45:41
阅读次数：
148
如图： 是通过网上提供的ISO 镜像文件进行的安装，不过没能使用 JDK安装好后，配置环境变量， 格式化hdfs namenode -format 运行案例PI 遇到异常： 配置hostname ，主机名称要和配置文件一致 这个问题是配置文件中没有修改为主机名称host160 此问题是配置文件 需要 ...
分类：
其他好文 时间：
2019-02-28 18:24:59
阅读次数：
196
hadoop fs -put localfile . 时出现如下错误：could only be replicated to 0 nodes, instead of 1网友的说法：这个问题是由于没有添加节点的原因，也就是说需要先启动namenode，再启动datanode，然后启动jobtracke ...
分类：
其他好文 时间：
2019-02-25 18:51:58
阅读次数：
158
Zookeeper在Hadoop的HA中的应用 非HA的弊端： HDFS集群的分布式存储是靠namenode节点（namenode负责响应客户端请求）来实现。在非HA集群中一旦namenode宕机，虽然元数据不会丢失，但整个集群将无法对外提供服务，导致HDFS服务的可靠性不高，这在实际应用场景中显然 ...
分类：
其他好文 时间：
2019-02-22 23:17:22
阅读次数：
178
一、基本概念 1、副本集：一个副本集就是一组MongoDB实例组成的集群，由一个主（Primary）服务器和多个备份（Secondary）服务器构成 2、主节点（master）：主节点接收所有写入操作。主节点将对其数据集所做的所有更改记录到其 oplog。 3、副节点（secondary）：复制主节 ...
分类：
数据库 时间：
2019-02-22 18:18:10
阅读次数：
543
HDFS的六大高级特性： 安全模式 安全模式是HDFS所处的一种特殊状态，在这种状态下，文件系统只接受读数据请求，而不接受删除、修改等变更请求。在NameNode主节点启动时，HDFS首先进入安全模式，DataNode在启动的时候会向namenode汇报可用的block等状态，让NameNode得到 ...
分类：
其他好文 时间：
2019-02-22 12:44:52
阅读次数：
231
解决方式步骤： 1、进入hdfs的pod kubectl get pod -o wide | grep hdfs kubectl exec -ti hadoop-hdfs-namenode-hdfs1-948569108-c5d70 bash 2、获取票据 kinit -kt /etc/hdfs1/ ...
分类：
其他好文 时间：
2019-02-22 12:28:51
阅读次数：
318
HDFS的shell操作和JavaAPI的使用： WEB WEB端口50090查看SecondaryNameNode信息。可以查看Hadoop的版本，NameNode的IP，Checkpoint等信息。 WEB端口50070可以查看HDFS的信息和目录结构 SHELL 查看 创建文件夹 新建文件 查 ...
