HadoopCDH5.0.1分布式系统，包括NameNode，ResourceMangerHA，忽略了WebApplicationProxy和JobHistoryServer。一概述（一）HDFS1）基础架构（1）NameNode（Master）命名空间管理：命名空间支持对HDFS中的目录、文件和块做类似文件系统的创建、修改、删除、列表文件和目录等基本..
分类：
其他好文 时间：
2014-12-03 07:09:21
阅读次数：
213
基于Spark On Yarn的淘宝数据挖掘平台：http://www.doc88.com/p-7804379529208.htmlSpark之MLLib机器学习库：http://blog.csdn.net/johnny_lee/article/details/25656343Spark之ALS（推...
分类：
其他好文 时间：
2014-12-02 23:49:03
阅读次数：
230
在yarn中对yarn.nodemanager.local-dirs的状态更新操作，定义在LocalDirsHandlerService（org.apache.hadoop.yarn.server.nodemanager.LocalDirsHandlerService）相关类中，在nm启动时，会启动一个LocalDirsHandlerService服务，循环检测yarn.nodemanager.local-dirs和yarn.nod..
分类：
其他好文 时间：
2014-12-02 00:15:42
阅读次数：
296
在nm启动container的过程中，有一个步骤是把当前的tokens写入本地目录，默认情况下具体的调用的方法是在DefaultContainerExecutor类的startLocalizer方法中：publicsynchronizedvoidstartLocalizer(PathnmPrivateContainerTokensPath,
InetSocketAddressnmAddr,Stringuser,Stri..
分类：
其他好文 时间：
2014-12-02 00:14:57
阅读次数：
290
Exception 1:当我们将任务提交给Spark Yarn集群时，大多会出现以下异常，如下：14/08/09 11:45:32 WARN component.AbstractLifeCycle: FAILED SelectChannelConnector@0.0.0.0:4040: java.n...
分类：
其他好文 时间：
2014-12-01 12:48:27
阅读次数：
304
JunipervSRX防火墙HA配置
实验网络拓扑结构
实验目标
完成SRX防火墙的Failover的配置
测试设备的连通性
实验配置步骤：
使用网线或者使用Esxi或者VM的网络将两台vSRX防火墙的ge-0/0/1和ge-0/0/2口互联起来，ge-0/0/1接口作为ControlLink，ge-0/0/2接口作为FabricLink
将防火..
分类：
其他好文 时间：
2014-11-30 17:06:26
阅读次数：
1214
课程大纲：第1周Hadoop生态系统概述以及版本演化概要介绍Hadoop生态系统及其版本演化历史，并给出hadoop版本选择建议。第2周HDFS2.0原理、特性与基本架构介绍HDFS2.0原理与架构，并与HDFS1.0进行对比。介绍HDFS2.0新特性，包括快照、缓存、异构存储架构等第3周YARN应用场景、基..
分类：
其他好文 时间：
2014-11-30 00:59:15
阅读次数：
544
Hadoop家族系列文章， 主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra...
分类：
其他好文 时间：
2014-11-26 14:09:05
阅读次数：
352
Hadoop
Yarn的安装部署于Hadoop类似，以下以CDH4.5为例说明安装步骤。
三台机器，修改/etc/hosts及/etc/sysconfig/network中的HOSTNAME：
172.20.4.142 yarn-namenode
172.20.4.143 yarn-datanode1
172.20.4.147 yarn-d...
分类：
其他好文 时间：
2014-11-24 20:57:36
阅读次数：
298
协议ApplicationClientProtocol Hadoop-Yarn?源码阅读-Yarn? client与ResourceManager之间的协议，用来 提交、中止作业 获取应用信息、集群metrics信息、节点信息、队列信息和ACL信息 各接口说明：
...
分类：
移动开发 时间：
2014-11-21 10:56:02
阅读次数：
490
