Hadoop 的端口 50070 > http port namenode 50075 > http port datanode 50090 > http port secondaryNamenode 50010 > rpc port namenode 8020 > rpc port datanod ...
分类：
其他好文 时间：
2018-12-21 13:20:15
阅读次数：
180
1.分布式文件系统存储副本的方式 1).客户端负责写所有副本。例如每个block要存3个副本，客户端要将3个副本都存到DataNode上才算成功 2).客户端是负责写一个副本。剩下的副本由NameNode负责，DataNode向其他DataNode复制（形成一个管道），复制和客户端写block是异步 ...
分类：
其他好文 时间：
2018-12-20 19:00:49
阅读次数：
146
大数据概念 大数据(big data,mega data)，或称巨量资料。比如TB、PB级别的数据。 5V volume 大量 velocity 高速 variet 多样 value 价值密度低 veracity 真实 大数据价值 数据量达到一定程度，数据本身也可以说话，数据被誉为新的生产力 当数据 ...
分类：
其他好文 时间：
2018-12-20 14:25:43
阅读次数：
161
1概述本文章介绍大数据平台Hadoop的分布式环境搭建、以下为Hadoop节点的部署图，将NameNode部署在master1，SecondaryNameNode部署在master2，slave1、slave2、slave3中分别部署一个DataNode节点NN=NameNode（名称节点）SND=SecondaryNameNode（NameNode的辅助节点）DN=DataNode（数据节点）2
分类：
其他好文 时间：
2018-12-18 13:58:09
阅读次数：
195
问题： 配置Hadoop集群时，一个节点的DataNode无法启动 排查： 查看hadoop-root-datanode-bigdata114.log文件，错误信息如下： java.io.IOException: Incompatible clusterIDs in /root/training/h ...
分类：
编程语言 时间：
2018-12-18 02:22:39
阅读次数：
250
HDFS 架构图 HDFS 服务功能 NameNode NameNode是主节点，存储文件的元数据如文件名，文件目录，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。 DataNode DataNode在本地文件系统存储文件块数据，以及块数据的校验和。 Se ...
分类：
其他好文 时间：
2018-12-16 23:38:50
阅读次数：
183
大数据生态之 HDFS HDFS工作机制 客户端上传文件时，一方面由datanode存储文件内容，另一方面有namenode负责管理block信息（切块大小，副本数量，位于datanode上的位置信息） 一丶namenode的工作职责： a) 文件的路径 b) 文件的副本数量 c) 文件切块大小 d ...
分类：
其他好文 时间：
2018-12-16 19:33:16
阅读次数：
156
1、预分区设计 附：splits.txt 2、rowkey设计 3、HBase优化 ...
分类：
其他好文 时间：
2018-12-15 23:56:29
阅读次数：
263
动态上下线集群的一些配置： 1、namenode中 hdfs-site.xml 配置 dfs.hosts所对应的文件中列出了所有可以连接到namenode的datanode， 如果为空则所有的都可以连入， dfs.hosts.exclude所对应的文件中列出了禁止连接namenode的datanod ...
分类：
其他好文 时间：
2018-12-10 13:56:58
阅读次数：
256
当我们在hdfs上操作文件的时候，有时候会报错 ，出现namenode in safemode namenode处于安全模式的原因： 1、NameNode发现集群中DataNode丢失达到一定比例（0.01%）时会进入安全模式，此时只允许查看数据不允许对数据进行任何操作。 2、HDFS集群即使启动正 ...
分类：
其他好文 时间：
2018-11-29 23:23:40
阅读次数：
571
