理解Hadoop2.7.4集群搭建组件： HDFS 海量数据的分布式存储 Map-Reduce 海量数据的分布式计算框架 Yarn 海量数据的资源管理 两个集群 逻辑上分离，物理上常在一起 1、Hdfs 集群 三个角色：Namenode，Datanod，Secondnode 2、Yarn集群 两个 ...
分类：
其他好文 时间：
2018-07-24 17:35:29
阅读次数：
174
一、服务端代码实现1、定义接口package cn.sjq.rpc.java;import org.apache.hadoop.ipc.VersionedProtocol;/** * 定义接口IMyNameNode并继承org.apache.hadoop.ipc.VersionedProtocol接口 * 本接口主要模拟定义自定义的Hadoop RPC通信，模拟Namenode节点在HDFS创建元
分类：
其他好文 时间：
2018-07-23 11:11:23
阅读次数：
149
HDFS NameNode(NN): 接受客户端的读写服务 NameNode保存metadata信息:--fsimage中包括:1.文件ownership和permissions2.文件包含哪些块儿--Block的位置信息不会保存到fsimage,DataNode启动时主动汇报给NameNode3. ...
分类：
其他好文 时间：
2018-07-22 20:06:38
阅读次数：
159
HDFS是一个分布式文件存储系统 Client 提交读写请求(拆分blocksize) NameNode 全局把控(知道blocksize的地址) dataNode 存储数据(将数据存储进去,且以Pipeline的方式把数据写完) 1.如果你要把数据写到HDFS上去,的流程是 发起请求-client ...
分类：
其他好文 时间：
2018-07-22 00:28:52
阅读次数：
169
CDH的CM节点挂掉，两个NameNode之前无法通信
分类：
其他好文 时间：
2018-07-21 16:56:49
阅读次数：
416
一、HDFS相关 1、启动NameNode sbin/hadoop-daemon.sh start namenode 2、启动DataNode sbin/hadoop-<span style="color:#ff0000;">daemon</span>.sh start datanode [plai ...
分类：
其他好文 时间：
2018-07-17 14:12:39
阅读次数：
206
看着书尝试安装一下Hadoop服务遇到了如下报错：ERROR:AttemptingtooperateonhdfsnamenodeasrootERROR:butthereisnoHDFS_NAMENODE_USERdefined.Abortingoperation.处理：在/usr/local/hadoop-3.0.2/sbin/start-dfs.sh中添加报错中的“HDFS_NAMENODE_U
分类：
其他好文 时间：
2018-07-14 16:33:07
阅读次数：
468
安全模式概述 安全模式是 HDFS 所处的一种特殊状态，在这种状态下，文件系统只接受读数据请求，而不接受删除、修改等变更请求，是一种保护机制，用于保证集群中的数据块的安全性。 在NameNode主节点启动时，HDFS首先进入安全模式，集群会开始检查数据块的完整性。DataNode 在启动的时候会向 ...
分类：
其他好文 时间：
2018-07-13 23:21:50
阅读次数：
180
安装配置Hadoop 1. 下载Hadoop包 2. 解压Hadoop包 3. 配置Hadoop的环境变量 4. 配置Hadoop的配置文件core site.xml和hdfs site.xml core site.xml文件 hdfs site.xml 5. 创建/Hadoop/tmp /Hado ...
分类：
其他好文 时间：
2018-07-13 22:51:07
阅读次数：
177
一、备份namenode的元数据 namenode中的元数据非常重要，如丢失或者损坏，则整个系统无法使用。因此应该经常对元数据进行备份，最好是异地备份。 1、将元数据复制到远程站点 （1）以下代码将secondary namenode中的元数据复制到一个时间命名的目录下，然后通过scp命令远程发送到 ...
分类：
其他好文 时间：
2018-07-13 22:20:19
阅读次数：
257
