YARN基本构成Master/Slave组成，1个ResourceManager对应多个NodeManager；YARN由Client、ResourceManager、NodeManager、ApplicationMaster组成；Client向ResourceManager提交任务、杀死任务等；A...
分类：
其他好文 时间：
2014-08-02 17:50:53
阅读次数：
311
Hadoop1.x和Hadoop2.0构成图对比Hadoop1.x构成： HDFS、MapReduce(资源管理和任务调度)；运行时环境为JobTracker和TaskTracker；Hadoop2.0构成：HDFS、MapReduce/其他计算框架、YARN； 运行时环境为YARN 1、HDFS....
分类：
其他好文 时间：
2014-08-02 15:24:53
阅读次数：
403
大数据分析技术MR ：离线计算框架Storm ：实时计算框架Spark ：内存计算框架YARN 基本架构ResourceManager? 处理客户端请求? 启动/ 监控ApplicationMaster? 监控NodeManager? 资源分配与调度NodeManager? 单个节点上的资源管理? ...
分类：
其他好文 时间：
2014-08-02 09:57:33
阅读次数：
285
项目起源是因为有人希望有个模拟环境来模拟公平调度器和容量调度器，以便合理配置调度器，降低生产环境出问题的风险，详见https://issues.apache.org/jira/browse/YARN-1021。之后在hadoop2.3.0就增加了这个工具。首先设定环境变量：exportHADOOP_HOME=/usr/hadoop-2.3.0export..
分类：
其他好文 时间：
2014-08-01 20:10:42
阅读次数：
284
近期温习了下angularjs执行流程，备记下。以便查看。主要的执行流程例如以下:1.用户请求应用起始页。2.用户的浏览器向server发起一次HTTP连接,然后载入index.html页面，这个页面里面包括了模板。3.angular被载入到页面中,等待页面载入完毕 ,然后查找了ng-app指令，用...
分类：
Web程序 时间：
2014-07-31 23:21:40
阅读次数：
265
一、MFC概念和作用
1、全称Microsoft Foundation Class Library,我们称为微软基础类库,封闭了绝大部分的win32 Api函数，C++语法中的数据结构，程序的执行流程
MFC就是一个库（动态库，静态库）
MFC还是一个程序框架
2、为什么使用MFC
基于框架编程，提高工作效率，减少开发周期，节约开发成本。
二、几个重要的头文件
afx.h -绝...
分类：
编程语言 时间：
2014-07-29 13:10:47
阅读次数：
417
Spark SQL 源码分析系列文章，从整个SQL执行流程到各个环节的关键组件，以及Catalyst框架的讲解。...
分类：
数据库 时间：
2014-07-29 13:10:36
阅读次数：
328
做JavaEE开发几年了，只是知道Filter、Servlet的执行流程，但是一直对Filter是如何实现的并不了解。 Filter的处理中的FilterChain是J2ee的接口，并没有提供实现，具体的实现有各个Servlet容器来实现的。今天就找了个时间，简单的看了一下Tomcat的Filter...
分类：
编程语言 时间：
2014-07-29 11:34:36
阅读次数：
330
和上次的一样，只是总结下看这本书学习到的新观点或者重点，简单并且提高效率。
第四章 控制执行流程
1.java中不允许一个数字当做布尔值来使用，而在C或者C++中可以
2.java中唯一用到逗号的地方就是for循环的控制表达式
3.for循环可以定义多个变量，但是这些变量必须要有相投的类型
4.要熟练使用for--each循环
5.break退出整个循环，continue退出当前循环
6.switch的case后面一定要跟上break'语句（有一次出bug就是因为粗心没有加上break）...
分类：
编程语言 时间：
2014-07-28 00:23:09
阅读次数：
191
