hdfs名词解释： Block: 在hdfs中文件都是采用分块的方式存储，每个block放在不同的DataNode上，block标识是一个三元组（block ID，numBytes，generationStamp），blockID是唯一的，具体分配由namenode节点设置，然后再由DataNode ...
分类：
其他好文 时间：
2018-08-30 18:28:02
阅读次数：
245
HBase 数据读写过程描述 我们熟悉的在 Hadoop 使用的文件格式有许多种，例如： Avro：用于 HDFS 数据序序列化与 Parquet：常见于 Hive 数据文件保存在 HDFS中 HFile HFile 是 HBase 使用的一种柱状存储文件，非常适合随机和实时读写。 HFile 文件 ...
分类：
其他好文 时间：
2018-08-24 16:04:24
阅读次数：
206
HDFS NameNode对文件块复制相关所有事物负责，它周期性接受来自于DataNode的HeartBeat和BlockReport信息，HDFS文件块副本的放置对于系统整体的可靠性和性能有关键性影响。 一个简单但非优化的副本放置策略是，把副本分别放在不同机架，甚至不同IDC。这样可以防止整个机架 ...
分类：
其他好文 时间：
2018-08-21 20:12:41
阅读次数：
313
近期版本get无法使用，可能使用了其他参数代替，但源码中已经去掉JMX部分，也没有给出替代接口，应该是不再额外实现了。 "NameNode" "DataNode" "HDFS" "Yarn" "HBase" "MapReduce" NameNode NameNode:50070 Hadoop:ser ...
分类：
其他好文 时间：
2018-08-21 00:26:35
阅读次数：
534
接下来开始真正意义上的集群搭建 Tip：hadoop集群搭建完以后，最好要格式化：hadoop namenode -format; HDFS集群是否启动成功，看这两个进程：namenode/datanode; Yarn集群是否启动成功，看这两个进程：Resourcemanager/Namemanag ...
分类：
其他好文 时间：
2018-08-20 17:56:40
阅读次数：
193
一、map方法执行之前 我们知道，HDFS里的文件是分块存放在Datanode上面的，而我们写的mapper程序也是跑在各个节点上的。这里就涉及到一个问题，哪一个节点上的mapper读哪一些节点上的文件块呢？hadoop会自动将这个文件分片（split），得到好多split，这每一个split放到一 ...
分类：
其他好文 时间：
2018-08-20 16:38:01
阅读次数：
194
在启动hadoop之后，发现如下 datanode何在？？？？？ 在重新启动hadoop的时候，发现了问题，如下 这说明datanode启动时出错了 我们跟踪这个问题，进入到log文件夹下，找到hadoop-root-datanode-master.log 接下来，就是来解决这个问题。 一种是删除/ ...
分类：
其他好文 时间：
2018-08-20 11:34:36
阅读次数：
198
修改$HADOOP_HOME/etc/hadoop/mapred-site.xml,加入以下配置(修改主机名为你自己的主机或IP,尽量不要使用中文注释) 依次执行start-dfs.sh,start-yarn.sh后jps查看namenode,datanode等是否启动,成功启动后启动history ...
分类：
其他好文 时间：
2018-08-18 21:45:49
阅读次数：
216
有时候我们start-dfs.sh启动了hadoop但是发现datanode进程不存在 一、原因 当我们使用hadoop namenode -format格式化namenode时，会在namenode数据文件夹（这个文件夹为自己配置文件中dfs.name.dir的路径）中保存一个current/VE ...
分类：
其他好文 时间：
2018-08-17 19:57:32
阅读次数：
203
问题 上传文件到Hadoop异常，报错信息如下： 解决 1、查看问题节点的进程情况： DataNode进程没有启动 2、进入问题节点，查看Hadoop datanode.log信息 报错的信息为，namenode clusterID 与 datanode clusterID 不一致！ 回想了下，出现 ...
分类：
Web程序 时间：
2018-08-17 15:30:02
阅读次数：
212
