在之前的博文里有说过executor框架，其实Fork/Join就是继承executor的升级版啦executor用于创建一个线程池，但是需要手动的添加任务，如果需要将大型任务分治，显然比较麻烦而Fork/Join则是解决这个问题的计算框架用户定义部分：如何分治 （compute(1 , 10)）定...
分类：
编程语言 时间：
2014-06-18 18:30:52
阅读次数：
224
MRv1
Storm
JobTracker
Nimbus
TaskTracker
Supervisor
Child
Worker
Job
Topology
Map/Reduce
Spout/Blot
shuffle
Stream grouping...
分类：
其他好文 时间：
2014-06-16 21:24:47
阅读次数：
228
Spark1.0.0可以通过以下几种方式来对Spark应用程序进行监控：
Spark应用程序的WebUI或者Spark Standalone的集群监控指标，然后通过支持指标收集的集群监控系统，如ganglia进行监控辅助监控工具
1：WebUI
Spark应用程序提交后，driver和Executor之间不断的交换运行信息，可以通过driver的4...
分类：
其他好文 时间：
2014-06-16 20:12:51
阅读次数：
325
最近在网上又看到有关于Hadoop适用性的讨论[1]。想想今年大数据技术开始由互联网巨头走向中小互联网和传统行业，估计不少人都在考虑各种“纷繁复杂”的大数据技术的适用性的问题。这儿我就结合我这几年在Hadoop等大数据方向的工作经验，与大家讨论一下Hadoop、Spark、HBase及Re..
分类：
其他好文 时间：
2014-06-16 17:07:55
阅读次数：
402
IIS 5.X中的ASP.NET实现了Web Server和ASP.NET App的分离.IIS作为Web Server运行在InetInfo.exe进程上.该进程是非托管的本地进程.ASP.NET App运行在aspnet_wp的Worker进程上.该进程初始化时会加载CLR,所以是一个托管进程....
模式定义
状态模式允许对象在内部状态改变时改变它的行为，对象看起来好像修改了它的类。
模式结构：
举例：
一个工人一天的时间分为上班，睡觉，干其他事情三个时间段。我们可以用状态模式来表示一天中在干什么事情。
UML设计：
编程实现及执行结果：
#include
using namespace std;
class Worker; //类...
分类：
编程语言 时间：
2014-06-15 18:52:46
阅读次数：
264
转载请注明出处：http://blog.csdn.net/u012860063
#include
#include
#include
struct worker
{
int num;
char name[20];
char zhicheng[10];
int wages;
int reward;
long birth;
int salary;
}
work[500],...
分类：
其他好文 时间：
2014-06-15 15:00:02
阅读次数：
318
http://www.cnblogs.com/rockman12352/p/3788688.html上一篇对于整体框架讲了很多东西，但是具体在使用时有一些细节并没有说出来首先是执行任务execute(); 执行任务，返回空，相当于 new Thread(task).start();submit();...
分类：
编程语言 时间：
2014-06-15 13:05:16
阅读次数：
267
Spark是一个通用的分布式内存计算框架，本文主要研讨Spark的核心数据结构RDD，及其在内存上的容错，内容基于论文Zaharia, Matei, et al. "Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In...
分类：
其他好文 时间：
2014-06-14 20:42:37
阅读次数：
326
Apache Spark?is a fast and general engine for large-scale data processing： 一种快速通用可扩展的数据分析引擎。如果想要搞清楚Spark是什么，那么我们需要知道它解决了什么问题，还有是怎么解决这些问题的。
本文将带领你进入Spark的世界，首先阐述了为什么Spark能够在众多的大数据分析平台中脱颖而出：通用，易用，高性能和与Hadoop的有效整合。Spark All in One的解决方案使用一个通用栈解决了流式，交互式，实时查询，迭代...
分类：
其他好文 时间：
2014-06-14 11:57:03
阅读次数：
288
