原因是hadoop集群没有启动（注意端口号9000） ...
分类：
Web程序 时间：
2018-06-27 14:04:06
阅读次数：
955
环境：hadoop-3.0.2 + 11 机集群 + RS-6-3-1024K 的EC策略 状况：某天，往 HDFS 上日常 put 业务数据时，发现传输速率严重下降 分析： 检查集群发现，在之前的传输中，发生过个别 datanode 临时不可用的状况。 而由于 hadoop EC 机制，当失效 d ...
分类：
其他好文 时间：
2018-06-26 00:47:26
阅读次数：
709
组员管理写入分布式：分布在不同的节点。 Hadoop是项目总裁，主要有分布式存储（HDFS）， Master是大脑，slave是执行 DataNode负责存储，TaskTracker负责运行 nameNode是索引，DataNode是存储， 接口 ******* ****************** ...
分类：
其他好文 时间：
2018-06-23 17:11:25
阅读次数：
173
1.hadoop是一份分布式的基础架构（分服务器部署） 2.优点：可扩展 3.NameNode：名称节点，管理文件系统 DataNode：数据节点，文件系统的工作者 4.HDFS：不适合低延迟的数据访问，不适合大量的小文件。默认128MB 5.主要的是ResourceManger和NodeManag ...
分类：
其他好文 时间：
2018-06-23 13:19:20
阅读次数：
123
根据日志中的路径，cd /home/hadoop/tmp/dfs，能看到 data和name两个文件夹。 方法一：删除DataNode的所有资料及将集群中每个datanode节点的/dfs/data/current中的VERSION删除，然后重新执行hadoop namenode -format进行 ...
分类：
其他好文 时间：
2018-06-22 01:07:25
阅读次数：
188
一、GFS Google File System就是HDFS的前身 HDFS 参照了GFS的设计理念，大部分架构设计概念是类似的，比如 HDFS NameNode 相当于 GFS Master，HDFS DataNode 相当于 GFS chunkserver\ 1.设计目标： 多个客户端可以在不需 ...
分类：
其他好文 时间：
2018-06-20 19:01:09
阅读次数：
382
对于datanode配置预留空间的方法 为：在hdfs-site.xml添加如下配置 <property> <name>dfs.datanode.du.reserved</name> <value>10737418240</value> </property> dfs.datanode.du.res ...
分类：
其他好文 时间：
2018-06-20 14:27:03
阅读次数：
291
Hadoop集群搭建（完全分布式） 这里设置了NameNode的地址，是在ruixuan.com这台主机上，设置hadoop的临时目录，自己指定。 replication的是副本数，意思是一个文件需要在HDFS分布式文件系统中保存几分，建议 DataNode的数量应大于等于replication。 ...
分类：
其他好文 时间：
2018-06-20 12:50:56
阅读次数：
179
故障一：某个datanode节点无法启动 我是以用户名centos安装和搭建了一个测试用的hadoop集群环境，也配置好了有关的权限，所有者、所属组都配成centos:centos 【故障现象】 名称节点的3个进程都起来了，但是其中一个数据节点的DataNode进程没启动，就是说在该数据节点上通过j ...
分类：
其他好文 时间：
2018-06-19 13:47:50
阅读次数：
222
1.DataNode的工作机制: 1、DataNode工作职责：存储管理用户的文件块数据 定期向namenode汇报自身所持有的block信息（通过心跳信息上报） （这点很重要，因为，当集群中发生某些block副本失效时，集群如何恢复block初始副本数量的问题） 2.配置文件: 2.DataNod ...
分类：
其他好文 时间：
2018-06-18 19:55:23
阅读次数：
168
