一、什么是线程： 在传统操作系统中，每个进程有一个地址空间，而且默认就有一个控制线程 线程顾名思义，就是一条流水线工作的过程，一条流水线必须属于一个车间，一个车间的工作过程是一个进程 车间负责把资源整合到一起，是一个资源单位，而一个车间内至少有一个流水线 流水线的工作需要电源，电源就相当于cpu 所 ...
分类：
编程语言 时间：
2017-10-13 20:12:25
阅读次数：
169
来源：http://www.cnblogs.com/shishanyuan/p/4700615.html 1、简介 1.1 Spark简介Spark是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发通用内存并行计算框架。Spark在201 ...
分类：
其他好文 时间：
2017-10-11 20:39:54
阅读次数：
218
SparkSQL本质上是基于DAG模型的MPP。而Kylin核心是Cube(多维立方体)。关于MPP和Cube预处理的差异，重复如下： > MPP [1] 的基本思路是增加机器来并行计算，从而提高查询速度。比如扫描8亿记录一台机器要处理1小时，但如果用100台机器来并行处理，就只要一分钟不到。再配合 ...
分类：
数据库 时间：
2017-10-08 11:13:03
阅读次数：
188
一.固态硬盘的硬件架构 固态硬盘主要由SSD控制器和Flash memory阵列组成，通过Host Interface和主机进行数据交互。目前主要的接口有SATA，NVME和PCIe，NVME由于成本低，速度快，将会是未来的主流。SSD控制器一般包含2个核心，其中一个核心用做Flash控制器，用来管 ...
分类：
其他好文 时间：
2017-10-02 17:51:34
阅读次数：
182
GraphX 是 Spark 中用于图形和图形并行计算的新组件。在高层次上， GraphX 通过引入一个新的图形抽象来扩展 Spark RDD ：一种具有附加到每个顶点和边缘的属性的定向多重图形。为了支持图形计算，GraphX 公开了一组基本运算符（例如： subgraph ，joinVertice... ...
分类：
Web程序 时间：
2017-09-26 21:19:11
阅读次数：
243
应用程序并行计算遇到的问题 当硬件处理能力不能按摩尔定律垂直发展的时候，选择了水平发展。多核处理器已广泛应用，未来处理器的核心数将进一步发布，甚至达到上百上千的数量。而现在很多的应用程序在运行在多核心的处理器上并不能得到很好的性能提升，因为应用程序的并发处理能力不强，不能够合理有效地的利用计算资源。 ...
分类：
编程语言 时间：
2017-09-24 23:27:56
阅读次数：
243
Fork/Join Java7提供了Fork/Join来支持将一个任务拆分成多个“小任务”并行计算，再把多个“小任务”的结果合并成总的计算结果。 类图 Java7提供了ForkJoinPool来支持将一个任务拆分为多个小任务并行计算，再把多个小任务的结果合并成总的计算结果。ForkJoinPool是 ...
分类：
编程语言 时间：
2017-09-23 15:27:20
阅读次数：
197
需求我们在编程时，尤其是在涉及到系统环境的程序开发中，可能会需要动态的获得当前机器中可用的CPU核数。例如，当我们需要做并行计算时，我们可能会根据CPU核数来决定并行度，因此我们需要在C程序中获得当前机器中可用的CPU核数。 方法为了跨平台的需要，我们需要同时考虑在不同平台下获取机器处理器核数的方法 ...
分类：
其他好文 时间：
2017-09-22 11:48:49
阅读次数：
198
你还没听过FPGA？那你一定是好久没有更新自己在IT领域的知识了。 FPGA全称现场可编程门阵列（Field－Programmable Gate Array），最初作为专用集成电路领域中的一种半定制电路而出现的，具有一定的可编程性，可同时进行数据并行和任务并行计算，在处理特定应用时有更加明显的效率。 ...
分类：
其他好文 时间：
2017-09-11 15:12:43
阅读次数：
251
1、Hadoop生态系统概况 Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 Hadoop的核心是HDFS和Mapreduce，hadoop2.0还包括YARN。 下图为hadoop的生态系统： 2、HDFS（Hadoop分布式文件系统） 源自于Google ...
分类：
其他好文 时间：
2017-09-06 18:25:14
阅读次数：
144
