1 概述
为了增大并发性,Yarn采用事件驱动的并发模型,将各种处理逻辑抽象成事件和调度器,将事件的处理过程用状态机表示。什么是状态机?
如果一个对象,其构成为若干个状态,以及触发这些状态发生相互转移的事件,那么此对象称之为状态机。
处理请求作为某种事件发送到系统中,由一个中央调度器传递给对应的事件调度器,进而对事件进行处理,处理完成之后再次发送给中央调度...
分类:
其他好文 时间:
2014-08-05 22:34:40
阅读次数:
232
1TB排序通常用于衡量分布式数据处理框架的数据处理能力。Terasort是Hadoop中的的一个排序作业,在2008年,Hadoop在1TB排序基准评估中赢得第一名,耗时209秒。那么Terasort在Hadoop中是怎样实现的呢?本文主要从算法设计角度分析Terasort作业。2、算法思想实际上,...
分类:
其他好文 时间:
2014-08-05 22:28:20
阅读次数:
357
待处理事项列表技术类1、提升java基础(内部类、泛型、集合、多线程、xml、io、nio、网络编程)2、学习设计模式。3、学习nutch。4、了解集成的知识。5、学习Hadoop。6、深入理解java虚拟机。7、阅读好的开源代码并参与感兴趣的开源项目。8、学习python语言。9、玩转github...
分类:
其他好文 时间:
2014-08-05 22:22:10
阅读次数:
552
1.简单模式 这种模式,配置简单,使用简单。 core-site.xml添加 hadoop.security.authorization true hadoop.security.authentication s...
分类:
其他好文 时间:
2014-08-05 22:01:00
阅读次数:
202
TODO: 还有没搞清楚的地方。 1、为了方便演示,先做好namenode检查点的配置。见控制namenode检查点发生的频率。 2、启动hadoop,保证所有节点都正常。 3、将namenode节点上dfs.name.dir 指定目录(即 name 目录)中...
分类:
其他好文 时间:
2014-08-05 19:43:40
阅读次数:
197
Hadoop技术已经无处不在。不管是好是坏,Hadoop已经成为大数据的代名词。短短几年间,Hadoop从一种边缘技术成为事实上的标准。看来,不仅现在Hadoop是企业大数据的标准,而且在未来,它的地位似乎一时难以动摇。 ...
分类:
其他好文 时间:
2014-08-05 19:39:20
阅读次数:
229
Hadoop权威指南英文版 自己的理解,欢迎指出不当之处。...
分类:
其他好文 时间:
2014-08-05 19:32:10
阅读次数:
257
hadoop linux centos jdk ssh 防火墙...
分类:
系统相关 时间:
2014-08-05 15:48:29
阅读次数:
348
hadoop 2.x版本编译:javac -d . -classpath /usr/lib/hadoop/hadoop-common-2.2.0.2.0.6.0-102.jar TestGetPathMark.java在com的同级目录上建立manifest.mf在里面写上Main-Class: c...
分类:
编程语言 时间:
2014-08-05 15:40:59
阅读次数:
261