在hadoop2.0中，datanode数据副本存放磁盘选择策略有两种方式：
第一种是沿用hadoop1.0的磁盘目录轮询方式，实现类：RoundRobinVolumeChoosingPolicy.java
第二种是选择可用空间足够多的磁盘方式存储，实现类：AvailableSpaceVolumeChoosingPolicy.java...
分类：
其他好文 时间：
2014-10-11 14:58:55
阅读次数：
212
hadoop@yts-Rev-1-0:/usr/local/hadoop/hadoop-2.2.0/hdfs/data/current$ jps11634 SecondaryNameNode11315 NameNode11779 ResourceManager11910 NodeManager125...
分类：
其他好文 时间：
2014-10-11 11:50:05
阅读次数：
187
用HDFS存储小文件是不经济的，因为每个文件都存在一个block里，每个block的metadata又在namenode的内存里存着，所以，大量的小文件，会吃掉大量的namenode的内存。（注意：一个小文件占用一个block，但是这个block的大小不是设定的值，比如设定每个block是128M，但是一个1M的文件存在一个block里，实际占用的datanode的硬盘大小是1M，而不是128M。...
分类：
其他好文 时间：
2014-10-09 16:58:40
阅读次数：
247
1、单机模式：安装简单，几乎不用作任何配置，但仅限于调试用途2、伪分布模式：在单节点上同时启动namenode、datanode、jobtracker、tasktracker、secondary namenode等5个进程，模拟分布式运行的各个节点 安装与配置步骤： 下载并解压Hadoo...
分类：
其他好文 时间：
2014-10-09 02:49:17
阅读次数：
246
理论基础：Hadoop 分布式文件系统架构HDFS 负责大数据存储MapReduce 负责大数据计算namenode master守护进程datanode slaves上负责存储的进程secondarynamenode master上提供周期检查和清理任务的进程jobtracker maste...
分类：
其他好文 时间：
2014-10-03 01:34:04
阅读次数：
451
bug集锦1. hadoop平台datanode无法启动：原因： 由于多次hdfs namenode -format导致dfs/data/current/version中的cluserID与当前的cluserID不统一，通过查看hadoop/logs中的datanode日志文件查看到此错误。解决方....
分类：
其他好文 时间：
2014-10-02 23:55:33
阅读次数：
205
namevalueDescriptiondfs.default.chunk.view.size32768namenode的http访问页面中针对每个文件的内容显示大小，通常无需设置。dfs.datanode.du.reserved1073741824每块磁盘所保留的空间大小，需要设置一些，主要是给非...
分类：
其他好文 时间：
2014-09-24 13:11:26
阅读次数：
175
一、故障症状最近公司一个集群跑大任务时，datanode日志报DataXceiveServer: Exiting due to:java.lang.OutOfMemoryError: unable to create new native thread异常，然后计算节点上的DataNode直接挂掉。...
分类：
其他好文 时间：
2014-09-23 21:51:05
阅读次数：
300
#include #include typedef struct DataNode{ int (*handle)();}tDataNode;int print(){ printf("Hello World!\n"); return 0;}int main(){ int a = 0; tDataNod...
分类：
其他好文 时间：
2014-09-22 20:39:53
阅读次数：
166
一、配置1. 在masters文件中添加 Secondary节点的主机名。*注：masters文件用于指定secondary的主机而不是namenode，slaves用于指定datanode和tasktracker，namenode由core-site.xml fs.default.name指定，j...
分类：
其他好文 时间：
2014-09-22 20:10:03
阅读次数：
197
