hadoop yarn的重构，根本的思想是将 JobTracker 两个主要的功能分离成单独的组件，这两个功能是资源管理和任务调度 / 监控。新的资源管理器全局管理所有应用程序计算资源的分配，每一个应用的 ApplicationMaster 负责相应的调度和协调。一个应用程序无非是一个单独的传统的 MapReduce 任务或者是一个 DAG( 有向无环图 ) 任务。ResourceManager 和每一台机器的节点管理服务器能够管理用户在那台机器上的进程并能对计算进行组织。...
分类：
其他好文 时间：
2014-06-02 02:27:16
阅读次数：
332
从多任务OS开始，线程主要用来表示IO异步；而今随着4G和多核等的到来，计算密集型又热门起来了。
硬件价格和性能从低到高：
PC/Laptop multi core, memory shared
PC clusters
SuperComputers
假设一个理想并行计算机：每个处理器计算能力相同，忽略调度，
static thread 是对一个虚拟处理器的软件层面的抽象;
s...
分类：
其他好文 时间：
2014-05-21 08:17:39
阅读次数：
326
有向无环图（DAG,Directed Acyclic Graph）上的动态规划是学习动态规划的基础。很多问题都可以转化为DAG上的最长路、最短路或路径计数问题。
题目描述：
有n个矩形，每个矩形可以用两个整数a,b描述，表示它的长和宽。矩形X(a,b)可以嵌套在矩形Y(c,d)中当且仅当a
分析：
矩形之间的"可嵌套"关系是一个典型的二元关...
分类：
其他好文 时间：
2014-05-18 07:20:52
阅读次数：
248
本文的目的是记录一些在学习贝叶斯网络（Bayesian
Networks）过程中遇到的基本问题。主要包括有向无环图（DAG），I-Maps，分解（Factorization），有向分割（d-Separation），最小I-Maps（Minimal
I-Maps）等。主要参考Nir Friedman的...
分类：
Web程序 时间：
2014-04-29 10:32:45
阅读次数：
449
