ApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再..
分类：
其他好文 时间：
2017-09-04 15:07:20
阅读次数：
137
在生产环境，QA会同时跑几十个上百个的test case。如果用单机串行的话，是一件非常耗时的事情，估计比手点快不了多少。使用并行方案的话，有两种方法，一个是自己写并行框架，一个是用现成的Selenium Grid。 自己写并行框架，好处是一切尽在掌控，有问题可以快速定位，针对业务的定制化程度高，用 ...
分类：
Web程序 时间：
2017-08-29 19:39:08
阅读次数：
315
最近在写本科的毕业论文，题目是有关于MapReduce的并行化处理，老师给出修改意见中提到了关于分布式计算框架的的国内外研究现状，一开始并没有搞懂分布式计算机框架，以为是MapReduce。MapReduce只是一种并行编程模式，也可以是一种并行框架，并不是分布式计算框架。百度得知，比如Hadoop ...
分类：
其他好文 时间：
2017-05-28 12:26:10
阅读次数：
225
Hadoop的编程可以是在Linux环境或Winows环境中，在此以Windows环境为示例，以Eclipse工具为主（也可以用IDEA）。网上也有很多开发的文章，在此也参考他们的内容只作简单的介绍和要点总结。Hadoop是一个强大的并行框架，它允许任务在其分布式集群上并行处理。但是编写、调试Hado..
分类：
其他好文 时间：
2017-05-17 15:11:17
阅读次数：
265
Hadoop的编程可以是在Linux环境或Winows环境中，在此以Windows环境为示例，以Eclipse工具为主（也可以用IDEA）。网上也有很多开发的文章，在此也参考他们的内容只作简单的介绍和要点总结。 Hadoop是一个强大的并行框架，它允许任务在其分布式集群上并行处理。但是编写、调试Ha ...
分类：
其他好文 时间：
2017-05-17 10:14:15
阅读次数：
265
简述 Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据 ...
分类：
编程语言 时间：
2016-07-08 21:32:00
阅读次数：
285
Fork/Join框架是Java7提供了的一个用于并行执行任务的框架，是一个把大任务分割成若干个小任务，最终汇总每个小任务结果后得到大任务结果的框架。Fork就是把一个大任务切分为若干子任务并行的执行。类似MapReduce里面的Map。Join就是合并这些子任务的执行结果，最后得到这个大..
分类：
编程语言 时间：
2016-06-15 12:52:13
阅读次数：
452
深度神经网络（Deep Neural Networks, 简称DNN）是近年来机器学习领域中的研究热点，产生了广泛的应用。DNN具有深层结构、数千万参数需要学习，导致训练非常耗时。GPU有强大的计算能力，适合于加速深度神经网络训练。DNN的单机多GPU数据并行框架是腾讯深度学习平台的一部分，腾讯深度...
分类：
其他好文 时间：
2015-07-27 22:35:15
阅读次数：
236
【深度学习系列2】Mariana DNN多GPU数据并行框架本文是腾讯深度学习系列文章的第二篇，聚焦于腾讯深度学习平台Mariana中深度神经网络DNN的多GPU数据并行框架。深度神经网络（Deep Neural Networks, 简称DNN）是近年来机器学习领域中的研究热点[1][2]，产生了广...
分类：
其他好文 时间：
2015-06-18 13:21:42
阅读次数：
208
【深度学习系列3】 Mariana CNN并行框架与图像识别本文是腾讯深度学习系列文章的第三篇，聚焦于腾讯深度学习平台Mariana中深度卷积神经网络Deep CNNs的多GPU模型并行和数据并行框架。将深度卷积神经网络（Convolutional Neural Networks, 简称CNNs）用...
分类：
其他好文 时间：
2015-06-18 13:00:13
阅读次数：
211
