上一节分析到了JobTracker把任务从队列里取出来并进行了初始化，所谓的初始化，主要是获取了Map、Reduce任务的数量，并统计了哪些DataNode所在的服务器可以处理哪些Split等等，将这些信息缓存起来，但还没有进行实质的分配。等待TaskTracker跟自己通信。TaskTracker...
分类：
其他好文 时间：
2014-08-18 00:03:43
阅读次数：
253
Spark1.0.x入门指南 1 节点说明 ? IP Role 192.168.1.111 ActiveNameNode 192.168.1.112 StandbyNameNode,Master,Worker 192.168.1.113 DataNode,Master,Worker 192.168.1.114 DataNode,Worker HDFS集群和Spark...
分类：
其他好文 时间：
2014-08-12 17:45:25
阅读次数：
278
实施Hadoop集群--分布式安装Hadoop 说明:以Ubuntu配置为例,其中与CentOS不同之处会给出详细说明 现有三台服务器:其IP与主机名对应关系为:192.168.139.129 master #NameNode/JobTrackerr结点
192.168.139.132 slave01 #DataNode/TaskTracker结点
192.168.139.137 slave...
分类：
其他好文 时间：
2014-08-12 17:28:24
阅读次数：
297
分布式文件系统HDFS--DataNode体系结构 1.概述 DataNode作用:提供真实文件数据的存储服务。 文件块（block）：最基本的存储单位[沿用的Linux操作系统地概念]。对于文件内容而言，一个文件的长度大小是size，那么从文件的０偏移开始，按照固定的大小，顺序对文件进行划分并编号，划分好的每一个块称一个Block。 与Linux操作系统不同的是,一旦上传了一个小于Block大小...
分类：
其他好文 时间：
2014-08-08 21:20:36
阅读次数：
364
一、 hdfs默认存储基本单位是64M的数据块，若一个文件小于64M，则该文件不会占用整个数据块。二、HDFS体系结构 1、元数据节点（Namenode） 主控制服务器，管理文件系统的命名空间，包括打开、关闭、重命名文件和目录。 NameNode将数据块映射到DataNode，...
分类：
其他好文 时间：
2014-08-06 17:38:21
阅读次数：
249
格式化namenode后，通过jps可发现datanode没有启动成功，查看datanode上的日志/home/wukong/usr/hadoop-1.2.1/logs/hadoop-wukong-datanode-bd12.log，可以发现是namespaceid不对。 解决办法： 1、查看namenode上...
分类：
其他好文 时间：
2014-08-03 23:37:06
阅读次数：
661
HDFS2.0之HA主备NameNode： 1、主NameNode对外提供服务，备NameNode同步主NameNode元数据，以待切换； 2、主NameNode的信息发生变化后，会将信息写到共享数据存储系统中让备NameNode合并到自己的内存中； 3、所有DataNode同时向两个Name...
分类：
其他好文 时间：
2014-08-02 17:53:53
阅读次数：
383
2014-06-18 20:34:59,622 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool (Datanode Uuid unassig....
分类：
其他好文 时间：
2014-08-02 12:13:03
阅读次数：
269
1：datanode中的快，命令ll查看
2：实际上文件在进行上传到hdfs的过程中，...
分类：
系统相关 时间：
2014-07-31 13:22:46
阅读次数：
206
jpshadoop namenode -formatdfs directory : /home/hadoop/dfs --data --current/VERSION#Wed Jul 30 20:41:03 CST 2014storageID=DS-ab96ad90-7352-4cd5-a0de.....
分类：
其他好文 时间：
2014-07-30 23:16:25
阅读次数：
228
