当硬件处理能力不能按照摩尔定律垂直发展的时候，选择了水平发展，多核处理器已经广泛应用。未来随着技术的进一步发展，可能出现成百上千个处理核心，但现有的程序运行在多核心处理器上并不能得到较大性能的提升，主要的瓶颈在于程序本身的并发处理能力不强，不能够合理的利用多核心资源。 现有的处理方案是从软件入手，试 ...
分类：
编程语言 时间：
2020-05-28 18:07:41
阅读次数：
112
Spark Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同 ...
分类：
其他好文 时间：
2019-12-27 00:11:15
阅读次数：
106
初步了解Fork/Join框架 Fork/Join 框架是java7中加入的一个并行任务框架，可以将任务分割成足够小的小任务，然后让不同的线程来做这些分割出来的小事情，然后完成之后再进行join，将小任务的结果组装成大任务的结果。下面的图片展示了这种框架的工作模型： 使用Fork/Join并行框架的 ...
分类：
编程语言 时间：
2019-10-18 19:08:44
阅读次数：
70
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点;但不同于MapRe ...
分类：
其他好文 时间：
2019-05-26 19:56:20
阅读次数：
156
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点;但不同于MapRe ...
分类：
其他好文 时间：
2019-05-26 18:25:54
阅读次数：
104
一、背景 虽然目前处理器核心数已经发展到很大数目，但是按任务并发处理并不能完全充分的利用处理器资源，因为一般的应用程序没有那么多的并发处理任务。基于这种现状，考虑把一个任务拆分成多个单元，每个单元分别得到执行，最后合并每个单元的结果。 Fork/Join框架是JAVA7提供的一个用于并行执行任务的框 ...
分类：
编程语言 时间：
2018-10-11 22:01:13
阅读次数：
182
在Fork/Join框架中，提交任务的时候，有同步和异步两种方式。 invokeAll()的方法是同步的，也就是任务提交后，这个方法不会返回直到所有的任务都处理完了。 fork方法是异步的。也就是你提交任务后，fork方法立即返回，可以继续下面的任务。这个线程也会继续运行。 下面我们以一个查询磁盘的 ...
分类：
编程语言 时间：
2018-10-11 21:49:29
阅读次数：
308
Hadoop是一个利用大规模计算机集群，可处理大量数据的分布式并行框架。 "Hadoop 官网" Hadoop的核心设计包括HDFS和MapReduce。 HDFS HDFS(Hadoop Distributed File System)是一种分布式文件系统。 主要特点：1.高容错性；2.高吞吐量访 ...
分类：
其他好文 时间：
2018-07-13 23:20:10
阅读次数：
194
Hadoop是一个利用大规模计算机集群，可处理大量数据的分布式并行框架。 "Hadoop 官网" Hadoop的核心设计包括HDFS和MapReduce。 HDFS HDFS(Hadoop Distributed File System)是一种分布式文件系统。 主要特点：1.高容错性；2.高吞吐量访 ...
分类：
其他好文 时间：
2018-07-13 23:18:54
阅读次数：
193
Spark特点Spark是Apache的一个顶级项目，ApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要
分类：
其他好文 时间：
2018-04-09 21:03:18
阅读次数：
194
