hadoop 集群中有两种节点，一种是namenode，还有一种是datanode。 其中datanode主要负责数据的存储，namenode主要负责三个功能，分别是(1)管理元数据 (2)维护目录树 (3)响应客户请求 首先介绍下，元数据格式 hdfs在外界看来就是普通的文件系统，可以通过路径进行 ...
分类：
其他好文 时间：
2020-01-22 13:07:22
阅读次数：
117
HDFS分布式文件系统概述 一、首先需要准备N台linux服务器 学习阶段，用虚拟机即可！ 先准备4台虚拟机：1个namenode节点 + 3 个datanode 节点 二、修改各台机器的主机名和ip地址 主机名： hdp01 对应的ip地址：192.168.11.25 主机名： hdp02 对应的 ...
分类：
其他好文 时间：
2020-01-01 09:29:00
阅读次数：
85
启动和关闭Hadoop集群命令步骤总结： 1. 在master上启动hadoop-daemon.sh start namenode.2. 在slave上启动hadoop-daemon.sh start datanode.3. 用jps指令观察执行结果.4. 用hdfs dfsadmin -repor ...
分类：
其他好文 时间：
2019-12-28 22:47:34
阅读次数：
878
HDFS的组成，NameNode，DataNode，SecondaryNameNode作用？ HDFS是什么？ HDFS的优缺点： HDFS的块大小，为什么不能太大，也不能太小？ ...
分类：
其他好文 时间：
2019-12-20 20:29:13
阅读次数：
103
1 概述 解决hadoop启动hdfs时，datanode无法启动的问题。错误为： 2 问题描述 执行start-dfs.sh后，根据打印日志，可以看到分别执行了NameNode、DataNode的操作。 但是执行jps查看启动结果时，返现DataNode并没有启动。 3 查找问题 很是费解，刚刚还 ...
分类：
编程语言 时间：
2019-12-19 21:14:13
阅读次数：
131
一、.hdfs写文件的步骤 答案： (1)client向NameNode申请上传…/xxx.txt文件 (2)NN向client响应可以上传文件 (3)Client向NameNode申请DataNode (4)NN向Client返回DN1,DN2,DN3 (5)Client向DN1,DN2,DN3申 ...
分类：
其他好文 时间：
2019-12-14 20:55:37
阅读次数：
106
准备 1、hadoop集群已安装，这里将在Centos7安装Hadoop2.7的基础上安装hbase1.4，所以是同样的三台机器，其规划如下： 2、官网下载安装包：hbase-1.4.12-bin.tar.gz（推荐去清华大学或中科大的开源镜像站）。 3、hbase将部署在三台都已存在的路径/myd ...
分类：
其他好文 时间：
2019-12-06 19:29:47
阅读次数：
95
Centos6下安装伪分布式hadoop集群，选取的hadoop版本是apache下的hadoop2.7.1，在一台linux服务器上安装hadoop后，同时拥有namenode，datanode和secondarynamenode等节点的功能，下面简单安装下。 前置准备 主要涉及防火墙关闭、jdk ...
分类：
其他好文 时间：
2019-12-06 00:03:53
阅读次数：
99
1、hdfs是通过分布式集群来存储文件，为客户端提供了一个便捷的访问方式，就是一个虚拟的目录结构2、文件存储到hdfs集群中去的时候是被切分成block的3、文件的block存放在若干台datanode节点上4、hdfs文件系统中的文件与真实的block之间有映射关系，由namenode管理5、每一 ...
分类：
其他好文 时间：
2019-11-25 20:52:22
阅读次数：
77
Hadoop在多次运行下列指令： hadoop namenode format sbin/start dfs.sh 经常会出现没有启动datanode的情况。 运行命令: jps 发现没有datanode线程。 现给出原因和解决方案 原因 当我们使用hadoop namenode format格式化 ...
分类：
系统相关 时间：
2019-11-24 10:20:06
阅读次数：
274
