2014-06-18 20:34:59,622 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool (Datanode Uuid unassig....
分类：
其他好文 时间：
2014-08-02 12:13:03
阅读次数：
269
1：datanode中的快，命令ll查看
2：实际上文件在进行上传到hdfs的过程中，...
分类：
系统相关 时间：
2014-07-31 13:22:46
阅读次数：
206
jpshadoop namenode -formatdfs directory : /home/hadoop/dfs --data --current/VERSION#Wed Jul 30 20:41:03 CST 2014storageID=DS-ab96ad90-7352-4cd5-a0de.....
分类：
其他好文 时间：
2014-07-30 23:16:25
阅读次数：
228
1、Could not chdir to home directory /home/USER: Permission denied启动datanode时会报这个错误，尝试利用ssh登录datanode，发现需要密码。解决办法： 利用root权限修改/etc/sysconfig/selinux，将S....
分类：
其他好文 时间：
2014-07-21 14:27:28
阅读次数：
281
namenode（hdfs）+jobtracker（mapreduce）可以放在一台机器上，datanode+tasktracker可以在一台机器上，辅助namenode要单独放一台机器，jobtracker通常情况下分区跟datanode一样(目录最好分布在不同的磁盘上，一...
分类：
其他好文 时间：
2014-07-21 10:21:00
阅读次数：
327
经过一段时间的配置，Hadoop环境总算运行起来了，但是呢，为何主节点就没有跑tasktracker和datanode进程，slave节点也没有跑secondary进程，Hadoop是如何控制的呢？经过看权威指南（267页）和跟群里同学讨论，还有自己测试，最终确定：tasktracker和datan...
分类：
其他好文 时间：
2014-07-19 20:19:01
阅读次数：
239
2014年2月20日，Hadoop 2.3.0版本发布，这是apache 在2014年发布的第一个Hadoop版本，揭开了Hadoop 2014发展的序幕。该版本引入了很多大家期待已久的特性，包括HDFS 的异构层次化存储架构、DataNode Cache，YARN的单点故障解决方案，以及MapRe...
分类：
其他好文 时间：
2014-07-19 18:04:01
阅读次数：
239
案例：Hadoop jar引用：hadoop jar -libjars aa.jar bb.jar ….jar包会被上传到hdfs，然后分发到每个datanode假设有20个jar文件，每天jar文件被上传上万次，分发达上万次（百G级），造成很严重的IO开销。如何使这些jar包在HDFS上进行缓存，...
分类：
其他好文 时间：
2014-07-18 00:23:59
阅读次数：
265
启动namenode，通过50070端口查看，发现livenode只有一个--namenode，查看datanode日志，发现有”Incompatible clusterIDs“错误，提示很明显，namenode和datanode的集群id不一致解决办法：找到core-site.xml配置文件，进入...
分类：
其他好文 时间：
2014-07-14 00:54:10
阅读次数：
196
HDFS中的NameNode、DataNode、Secondery NameNode是如何在磁盘上组织和存储持久化数据的？下面将分别进行介绍。注意，这里主要介绍的是Hadoop 2.0以前的版本，Hadoop 2.0以后版本文件结构稍微有一些变化，因为目前我们还没有使用hadoop 2.0，所以后面...
分类：
其他好文 时间：
2014-07-12 08:52:04
阅读次数：
544
