配置CDH和管理服务
关闭DataNode前HDFS的调优
角色要求：配置员、集群管理员、完全管理员
当一个DataNode关闭，NameNode确保每一个DataNode中的每一个块根据复制系数（the replication factor）跨集群仍然是可用的。这个过程涉及到DataNode间小批次的块复制。在这种情况下，一个DataNode有成千上万个块，关闭后集群间还原备份数可能...
分类：
其他好文 时间：
2015-01-16 11:20:07
阅读次数：
509
在NameNode节点上一切正常，并没有提示这个信息，但是在DataNode上出现如下提示信息：
15/01/14 16:42:09 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
经...
分类：
其他好文 时间：
2015-01-14 19:57:23
阅读次数：
174
共13台服务器，我配置好了，之后发现datanode连接只有3.
然后配置是好的在呢么办呢？
hadoop dfsadmin -report查看，结果竟然是
[hadoop@master logs]$ hadoop dfsadmin -report
Configured Capacity: 0 (0 KB)
Present Capacity: 0 (0 KB)
DFS Re...
分类：
其他好文 时间：
2015-01-11 12:22:28
阅读次数：
129
1. hadoop集群：1.1 系统及硬件配置： hadoop版本：2.6 ；三台虚拟机：node101(192.168.0.101)、node102(192.168.0.102)、node103(192.168.0.103)； 每台机器2G内存、1个CPU核； node101: NodeManager、 NameNode、ResourceManager、DataNode； ...
分类：
编程语言 时间：
2015-01-11 06:15:09
阅读次数：
307
启动hbase报错couldonlybereplicatedto0nodesinsteadof1hmaster启动不起来查了很多类似的问题，大家处理的方式大多比较暴力。由于是测试环境，不敢太过暴力，免得花费精力再来处理这些烂事。又仔细看看了看./bin/hadoopdfsadmin-report发现1数据在datanode上分布的不均衡2其中..
分类：
其他好文 时间：
2015-01-10 18:23:19
阅读次数：
143
安装好Hadoop后，使用jps会出现一下几个进程
master中有：
namenode
secondaryNameNode
jobTracker
slaves中有
tasktracker
datanode
1. NameNode
它是Hadoop 中的主服务器，管理文件系统名称空间和对集群中存储的文件的访问。
2. Second...
分类：
系统相关 时间：
2015-01-10 13:57:03
阅读次数：
232
第一步，选择要安装的hadoop版本的tar.gz的压缩文件，并解压到指定目录。第二步、创建一个存放数据的文件夹，这个文件夹的名字可以自行命令，但是要包括三个子文件夹（这三个子文件夹，可以分开，不过一般我们将它们放到同一个文件夹中）这三个文件夹中，其中data(datanode节点使用，保存数据内容...
分类：
其他好文 时间：
2015-01-09 01:34:23
阅读次数：
157
引言 前提和设计目标 硬件错误 流式数据访问 大规模数据集 简单的一致性模型 “移动计算比移动数据更划算” 异构软硬件平台间的可移植性 Namenode 和 Datanode 文件系统的名字空间 (namespace) 数据复制 副本存放: 最最开始的一步 副本选择 安全模式 文件系统元数据的持久化...
分类：
其他好文 时间：
2015-01-08 11:12:54
阅读次数：
166
VersionedProtocol协议是Hadoop的最顶层协议接口的抽象；5--3--3共11个协议，嘿嘿 1）HDFS相关 ClientDatanodeProtocol：client与datanode交互的接口，操作不多，只有一个block恢复的方法。那么，其它数据请求的方法呢？client与d...
分类：
其他好文 时间：
2015-01-03 10:37:31
阅读次数：
130
