Centralized Cache Management inHDFS
Overview
HDFS中的集中式缓存管理是一个显式的管理缓存的机制，它允许用户指定被HDFS缓存的路径。NameNode将与磁盘上有所需的Block的DataNode通信，命令其在堆外缓存里缓存Block。
HDFS中的集中式缓存管理有许多重要的优势。
1. 明确地防止频繁使用的数据被赶出内存。当工作集的...
分类：
其他好文 时间：
2014-08-21 15:07:24
阅读次数：
346
系统正在运行，如何添加一个从节点： 步骤一： 配置好要新节点的的环境 步骤二： 在主节点的配置文件slaves文件中添加一行新节点的ip 步骤三： 然后在新节点中分别执行以下命令，启动进程： hadoop-daemon.sh start datanode hadoop-daemon.sh start...
分类：
其他好文 时间：
2014-08-18 01:32:13
阅读次数：
254
hadoop的分布式安装过程 分布结构 主节点(1个,是huanghe):NameNode、JobTracker、SecondaryNameNode 从节点(2个,是huanghe1、huanghe2):DataNode、TaskTracker 我的配置：用户名/密码均为：root/huanghe ...
分类：
其他好文 时间：
2014-08-18 01:31:33
阅读次数：
233
上一节分析到了JobTracker把任务从队列里取出来并进行了初始化，所谓的初始化，主要是获取了Map、Reduce任务的数量，并统计了哪些DataNode所在的服务器可以处理哪些Split等等，将这些信息缓存起来，但还没有进行实质的分配。等待TaskTracker跟自己通信。TaskTracker...
分类：
其他好文 时间：
2014-08-18 00:03:43
阅读次数：
253
Spark1.0.x入门指南 1 节点说明 ? IP Role 192.168.1.111 ActiveNameNode 192.168.1.112 StandbyNameNode,Master,Worker 192.168.1.113 DataNode,Master,Worker 192.168.1.114 DataNode,Worker HDFS集群和Spark...
分类：
其他好文 时间：
2014-08-12 17:45:25
阅读次数：
278
实施Hadoop集群--分布式安装Hadoop 说明:以Ubuntu配置为例,其中与CentOS不同之处会给出详细说明 现有三台服务器:其IP与主机名对应关系为:192.168.139.129 master #NameNode/JobTrackerr结点
192.168.139.132 slave01 #DataNode/TaskTracker结点
192.168.139.137 slave...
分类：
其他好文 时间：
2014-08-12 17:28:24
阅读次数：
297
分布式文件系统HDFS--DataNode体系结构 1.概述 DataNode作用:提供真实文件数据的存储服务。 文件块（block）：最基本的存储单位[沿用的Linux操作系统地概念]。对于文件内容而言，一个文件的长度大小是size，那么从文件的０偏移开始，按照固定的大小，顺序对文件进行划分并编号，划分好的每一个块称一个Block。 与Linux操作系统不同的是,一旦上传了一个小于Block大小...
分类：
其他好文 时间：
2014-08-08 21:20:36
阅读次数：
364
一、 hdfs默认存储基本单位是64M的数据块，若一个文件小于64M，则该文件不会占用整个数据块。二、HDFS体系结构 1、元数据节点（Namenode） 主控制服务器，管理文件系统的命名空间，包括打开、关闭、重命名文件和目录。 NameNode将数据块映射到DataNode，...
分类：
其他好文 时间：
2014-08-06 17:38:21
阅读次数：
249
格式化namenode后，通过jps可发现datanode没有启动成功，查看datanode上的日志/home/wukong/usr/hadoop-1.2.1/logs/hadoop-wukong-datanode-bd12.log，可以发现是namespaceid不对。 解决办法： 1、查看namenode上...
分类：
其他好文 时间：
2014-08-03 23:37:06
阅读次数：
661
HDFS2.0之HA主备NameNode： 1、主NameNode对外提供服务，备NameNode同步主NameNode元数据，以待切换； 2、主NameNode的信息发生变化后，会将信息写到共享数据存储系统中让备NameNode合并到自己的内存中； 3、所有DataNode同时向两个Name...
分类：
其他好文 时间：
2014-08-02 17:53:53
阅读次数：
383
