1.使用说明 Java 的 Steam API 是java标准库最好的改进之一，让开发者能够快速运算，从而能够有效的利用数据并行计算。Java 8 提供的 Steam 能够利用多核架构实现声明式的数据处理。 在 Java 9 中，Stream API 变得更好，Stream 接口中添加了 4 个新的 ...
分类：
编程语言 时间：
2018-01-13 11:04:58
阅读次数：
160
在讲spark之前，不得不详细介绍一下RDD（Resilient Distributed Dataset），打开RDD的源码，一开始的介绍如此： 字面意思就是弹性分布式数据集，是spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。 Resilient：弹性的，它表示的 ...
分类：
其他好文 时间：
2018-01-07 12:01:12
阅读次数：
210
1. 什么是Fork/Join框架 Fork/Join框架是Java7提供了的一个用于并行执行任务的框架， 是一个把大任务分割成若干个小任务，最终汇总每个小任务结果后得到大任务结果的框架。 我们再通过Fork和Join这两个单词来理解下Fork/Join框架，Fork就是把一个大任务切分为若干子任务 ...
分类：
编程语言 时间：
2018-01-02 23:18:03
阅读次数：
265
【WC2001】【cogs358】高性能计算机（动态规划） 题面 【问题描述】 现在有一项时间紧迫的工程计算任务要交给你——国家高性能并行计算机的主管工程师——来完成。为了尽可能充分发挥并行计算机的优势，我们的计算任务应当划分成若干个小的子任务。 这项大型计算任务包括A和B两个互不相关的较小的计算任 ...
分类：
其他好文 时间：
2017-12-25 20:55:41
阅读次数：
159
一、Parallel.Invoke执行多个方法 没有特定执行顺序，利用cpu多核并发执行 结果： 二、Parallel.For 有空再接着写 ...
分类：
其他好文 时间：
2017-12-12 12:25:04
阅读次数：
227
20155332 补交ch12课下作业 课下测试提交晚了，我课后补做了一遍，答对13题，答错3题。 试题内容如下所示： 课本内容 1.并发(Concurrency) 访问慢I/O设备：就像当应用程序等待I/O中的数据时内核会切换运行其他进程一样，我们的应用也可以用类似的方式，将I/O请求与其他工作重 ...
分类：
其他好文 时间：
2017-12-07 23:52:57
阅读次数：
222
内容简介 《Spark大数据处理：技术、应用与性能优化》根据最新技术版本，系统、全面、详细讲解Spark的各项功能使用、原理机制、技术细节、应用方法、性能优化，以及BDAS生态系统的相关技术。 作为一个基于内存计算的大数据并行计算框架，Spark不仅很好地解决了数据的实时处理问题，而且保证了高容错性... ...
分类：
其他好文 时间：
2017-12-03 12:59:28
阅读次数：
267
1.前言 计算机的基本工作就是处理数据，包括磁盘文件中的数据，通过网络传输的数据流或数据包，数据库中的结构化数据等。随着互联网、物联网等技术得到越来越广泛的应用，数据规模不断增加，TB、PB量级成为常态，对数据的处理已无法由单台计算机完成，而只能由多台机器共同承担计算任务。而在分布式环境中进行大数据 ...
分类：
其他好文 时间：
2017-11-30 23:24:26
阅读次数：
164
一、使用并行计算加倍提升性能1、数据并行 VS 任务并行实现数据并行的算法scoket 并行性注意并行计算时间并不与执行任务的计算资源数目成正比(计算机核心)，amdahl定律：并行代码的速度受限于串行执行的部分，包括并行性带来的开销在非windows系统中，parallel支持分叉集群(交叉法)， ...
分类：
编程语言 时间：
2017-11-18 21:07:17
阅读次数：
172
TensorFlow 将图形定义转换成分布式执行的操作, 以充分利用可用的计算资源(如 CPU 或 GPU。一般你不需要显式指定使用 CPU 还是 GPU, TensorFlow 能自动检测。如果检测到 GPU, TensorFlow 会尽可能地利用找到的第一个 GPU 来执行操作. 并行计算能让代 ...
分类：
其他好文 时间：
2017-11-14 11:20:38
阅读次数：
498
