. MapReduce基本编程模型和框架 1.1 MapReduce抽象模型 大数据计算的核心思想是：分而治之。如下图1所示。把大量的数据划分开来，分配给各个子任务来完成。再将结果合并到一起输出。 注：如果数据的耦合性很高，不能分离，那么这种并行计算就不适合了。 图1：MapReduce抽象模型 1 ...
分类：
其他好文 时间：
2017-08-05 19:01:47
阅读次数：
132
今天看了一些并行计算方面的资料，写一些收获吧，因为研究的并不深，也并不打算做专业解释，只是从一个程序员的角度，谈一些并行计算开发方面一些初步了解。并行计算方面的开发库，直到今天，搜起来有TBB,PPL,openMP,POP-cppPOP-cpp在github上可以搜到，感觉比较高大上，强调分..
分类：
其他好文 时间：
2017-08-03 20:32:07
阅读次数：
141
MapReduce编程模型 一种分布式计算模型框架，解决海量数据的计算问题 MapReduce将整个并行计算过程抽象到两个函数 map(映射)：对一些独立元素组成的列表的每一个元素进行指定的操作，可以高度并行 reduce:对一个列表的元素进行合并 一个简单的MapReduce程序只需要指定map( ...
分类：
其他好文 时间：
2017-07-30 19:10:27
阅读次数：
135
若你的意图是并发，而非并行，或者你的主要目标是在同一个CPU上执行几个松耦合的任务，充分利用CPU的核，让其足够忙碌，从而最大化程序的吞吐量，那么其实真正想做的避免因为等待远程服务的返回，或对数据库的查询而阻塞线程的执行，浪费计算资源。 Future接口在Java 5中引入，设计初衷是对将来某个时刻 ...
分类：
其他好文 时间：
2017-07-27 23:30:16
阅读次数：
421
本文转自http://edisonchou.cnblogs.com/ 一、神马是高大上的MapReduce MapReduce是Google的一项重要技术，它首先是一个编程模型，用以进行大数据量的计算。对于大数据量的计算，通常采用的处理手法就是并行计算。但对许多开发者来说，自己完完全全实现一个并行计 ...
分类：
其他好文 时间：
2017-07-27 10:46:18
阅读次数：
172
在学习用CUDA做并行计算，过程中遇到了一些坑，在此记录一下。 1. Visual Studio Community 2013试用到期后，页面一直提示试用到期，关闭后就直接退出Visual Studio。遇到这种问题的解决办法就是点击【Sign In】，用微软账号登陆（没有的话可以注册），之后就可以 ...
分类：
其他好文 时间：
2017-07-22 13:13:59
阅读次数：
154
谷歌大脑科学家 Caffe缔造者 贾扬清 微信讲座完整版 一、讲座正文： 大家好！我是贾扬清237，目前在Google Brain83，今天有幸受雷鸣师兄邀请来和大家聊聊Caffe60。没有太多准备，所以讲的不好的地方还请大家谅解。 我用的ppt808基本上和我们在CVPR上要做的tutorial是 ...
分类：
微信 时间：
2017-07-19 14:28:44
阅读次数：
260
大数据量存储：分布式存储 日志处理: Hadoop擅长这个 海量计算: 并行计算 ETL:数据抽取到oracle、mysql、DB2、mongdb及主流数据库 使用HBase做数据分析: 用扩展性应对大量的写操作—Facebook构建了基于HBase的实时数据分析系统 机器学习: 比如Apache ...
分类：
其他好文 时间：
2017-07-18 18:44:06
阅读次数：
148
项目中需要使用LabVIEW控制NI FPGA board产生控制信号等，使用GPU对采集的数据进行高性能计算，因此方案之一是用Visual Studio设计基于CUDA的GPU并行计算算法代码，然后生成DLL，使用LabVIEW设计NI FPGA board控制代码并调用DLL，采用LabVIEW ...
分类：
其他好文 时间：
2017-07-15 10:16:15
阅读次数：
220
MapReduce中的Shuffle和Sort分析 MapReduce 是现今一个非常流行的分布式计算框架，它被设计用于并行计算海量数据。第一个提出该技术框架的是Google 公司，而Google 的灵感则来自于函数式编程语言，如LISP，Scheme，ML 等。MapReduce 框架的核心步骤主 ...
分类：
其他好文 时间：
2017-07-14 22:17:41
阅读次数：
284
