R语言使用向量化计算，因此非常容易在集群上进行并行计算。parallel 包提供了非常方便的函数用来进行并行计算，但有一个问题是并行时对于内存中的对象会拷贝多份，因此会比较占内存，这里提供一个比较简易的方法在内存中共享对象从而达到降低内存占用的目的。 非常简单，在创建集群的时候添加type为 FOR ...
分类：
编程语言 时间：
2018-05-03 16:31:48
阅读次数：
247
（本文原创，首次使用OpenMP，将使用体会记录下来供学习） OpenMP是啥玩意？？？ 多核多线程处理器的出现，让并行计算成为可能。在此之前，单核处理器并不能并行计算，这是很显然的，只有一个核心只能做到并发处理（与并行处理区别），这是一种虚拟化的技术，让用户感觉计算机在同时处理多任务，而事实上是通 ...
分类：
其他好文 时间：
2018-05-02 21:03:06
阅读次数：
182
一、MapReduce编程模型 一种分布式计算框架，解决海量数据的计算问题。 MapReduce将整个并行计算过程抽象到两个函数： Map（映射）：对一些独立元素组成的列表的每一个元素进行制定的操作，可以高度并行。 Reduce（化简）：对一个列表的元素进行合并。 一个简单的MapReduce程序只 ...
分类：
其他好文 时间：
2018-04-27 12:17:43
阅读次数：
152
一、官网介绍 官网地址：http://spark.apache.org/ Apache Spark?是用于大规模数据处理的统一分析引擎。 从右侧最后一条新闻看，Spark也用于AI人工智能 spark是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室 开发的通用内存并行计算框架， ...
分类：
其他好文 时间：
2018-04-20 00:19:09
阅读次数：
195
前言 并行计算一直算是比较专业的领域，当然在Linux下依据现有的开源软件搭建一个并行计算的集群还是相对容易的，通常在Linux下使用PVM/MPI的方式来实现并行计算集群的，网络上有许多关于PVM和MPICH搭建计算集群的方法，但似乎还没有针对OpenMPI的搭建方式，至少中文的介绍比较少，所以这 ...
分类：
其他好文 时间：
2018-04-18 11:40:58
阅读次数：
1276
三种分词模式与一个参数 以下代码主要来自于jieba的github,你可以在github下载该源码 关键词提取 运行结果如图所示,但是同样的我们也发现了一些问题,比如: 问题一: 分词错误,在运行结果中中”路明非”(龙族男主)被分成了”路明”和”明非”啷个中文词语,这是因为jieba的词库中并不含有 ...
分类：
编程语言 时间：
2018-04-14 20:44:09
阅读次数：
529
几张图看懂列式存储 从Dremel和Impala的学习引申出了SQL查询的并行执行问题，于是借此机会深入学习一下关系数据库以及关系代数的并行计算。 Speedup和Scaleup Speedup指用两倍的硬件换来一半的执行时间。 Scaleup指两倍的硬件换来同等时间内执行两倍的任务。 但往往事情不 ...
分类：
数据库 时间：
2018-04-04 14:49:16
阅读次数：
165
1 MATLAB并行计算-从个人桌面到远程集群和云(陈伟/魏奋)视频摘录笔记 https://cn.mathworks.com/videos/parallel-computing-with-matlab-92865.html 2 数据、硬件和算法，MATLAB发展的方向 3 MATLAB并行计算工具 ...
分类：
其他好文 时间：
2018-03-25 10:40:11
阅读次数：
237
在上文《Spark技术内幕：Stage划分及提交源代码分析》中，我们分析了Stage的生成和提交。可是Stage的提交，仅仅是DAGScheduler完毕了对DAG的划分，生成了一个计算拓扑，即须要依照顺序计算的Stage，Stage中包括了能够以partition为单位并行计算的Task。我们并没 ...
分类：
其他好文 时间：
2018-03-19 13:45:10
阅读次数：
270
基于Xilinx Zynq Z7045 SoC的CNN的视觉识别应用 由 judyzhong 于 星期三, 08/16/2017 - 14:56 发表 作者：stark 近些年来随着科学技术的不断进步，人工智能（AI）正在逐步从尖端技术变得普及。人工智能的发展涉及物联网、大规模并行计算、大数据以及深 ...
分类：
其他好文 时间：
2018-03-16 17:12:55
阅读次数：
366
