共13台服务器，我配置好了，之后发现datanode连接只有3.
然后配置是好的在呢么办呢？
hadoop dfsadmin -report查看，结果竟然是
[hadoop@master logs]$ hadoop dfsadmin -report
Configured Capacity: 0 (0 KB)
Present Capacity: 0 (0 KB)
DFS Re...
分类：
其他好文 时间：
2015-01-11 12:22:28
阅读次数：
129
1. hadoop集群：1.1 系统及硬件配置： hadoop版本：2.6 ；三台虚拟机：node101(192.168.0.101)、node102(192.168.0.102)、node103(192.168.0.103)； 每台机器2G内存、1个CPU核； node101: NodeManager、 NameNode、ResourceManager、DataNode； ...
分类：
编程语言 时间：
2015-01-11 06:15:09
阅读次数：
307
启动hbase报错couldonlybereplicatedto0nodesinsteadof1hmaster启动不起来查了很多类似的问题，大家处理的方式大多比较暴力。由于是测试环境，不敢太过暴力，免得花费精力再来处理这些烂事。又仔细看看了看./bin/hadoopdfsadmin-report发现1数据在datanode上分布的不均衡2其中..
分类：
其他好文 时间：
2015-01-10 18:23:19
阅读次数：
143
安装好Hadoop后，使用jps会出现一下几个进程
master中有：
namenode
secondaryNameNode
jobTracker
slaves中有
tasktracker
datanode
1. NameNode
它是Hadoop 中的主服务器，管理文件系统名称空间和对集群中存储的文件的访问。
2. Second...
分类：
系统相关 时间：
2015-01-10 13:57:03
阅读次数：
232
第一步，选择要安装的hadoop版本的tar.gz的压缩文件，并解压到指定目录。第二步、创建一个存放数据的文件夹，这个文件夹的名字可以自行命令，但是要包括三个子文件夹（这三个子文件夹，可以分开，不过一般我们将它们放到同一个文件夹中）这三个文件夹中，其中data(datanode节点使用，保存数据内容...
分类：
其他好文 时间：
2015-01-09 01:34:23
阅读次数：
157
引言 前提和设计目标 硬件错误 流式数据访问 大规模数据集 简单的一致性模型 “移动计算比移动数据更划算” 异构软硬件平台间的可移植性 Namenode 和 Datanode 文件系统的名字空间 (namespace) 数据复制 副本存放: 最最开始的一步 副本选择 安全模式 文件系统元数据的持久化...
分类：
其他好文 时间：
2015-01-08 11:12:54
阅读次数：
166
VersionedProtocol协议是Hadoop的最顶层协议接口的抽象；5--3--3共11个协议，嘿嘿 1）HDFS相关 ClientDatanodeProtocol：client与datanode交互的接口，操作不多，只有一个block恢复的方法。那么，其它数据请求的方法呢？client与d...
分类：
其他好文 时间：
2015-01-03 10:37:31
阅读次数：
130
FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool BP-336454126-127.0.0.1-1419216478581 (storage i...
分类：
其他好文 时间：
2014-12-22 12:38:22
阅读次数：
183
本例使用的环境：Windows+VirtualBox. VirtualBox下安装三个ubuntu系统（可以安装一台后，使用VirtualBox自带的工具VBoxManage.exe来进行复制），三台机器分别命名为h1.h2,h3。其中，h1作为master，运行namenode和jobtracker，h2和h3作为slaves，运行datanode和tasktracker。
1.在每个...
分类：
其他好文 时间：
2014-12-16 11:50:12
阅读次数：
202
再理解HDFS的存储机制
1. HDFS开创性地设计出一套文件存储方式，即对文件分割后分别存放；
2. HDFS将要存储的大文件进行分割，分割后存放在既定的存储块（Block）中，并通过预先设定的优化处理，模式对存储的数据进行预处理，从而解决了大文件储存与计算的需求；
3. 一个HDFS集群包括两大部分，即NameNode与DataNode。一般来说，一个集群中会有一个NameNode和多个DataNode共同工作；
4. NameNode是集群的主服务器，主要是用于对HDFS中所有的文件及...
分类：
其他好文 时间：
2014-12-15 10:34:06
阅读次数：
149
