在很多场景中我们需要通过并行化的方式来提高程序运行的速度，比较典型的需求就是并行下载。前期遇到一个需求是要批量下载瓦片，每次大概下载上百万个瓦片，要想提高瓦片的下载速度，只能通过并行化的方式，下面把我解决此问题的思路和代码总结如下： 第一步确定线程个数（ThreadCount），这个要根据网络情况和 ...
分类：
其他好文 时间：
2016-05-30 00:40:40
阅读次数：
261
System.SerializableAttribute 串行化是指存储和获取磁盘文件、内存或其他地方中的对象。在串行化时，所有的实例数据都保存到存储介质上，在取消串行化时，对象会被还原，且不能与其原实例区别开来。 只需给类添加Serializable属性，就可以实现串行化实例的成员。 并行化是串行 ...
转：http://codinginet.com/articles/view/201605-linux_net_parallel?simple=1&from=timeline&isappinstalled=0 Linux网络IO并行化技术概览 By mikewei at 2016-05-21 00:3 ...
分类：
系统相关 时间：
2016-05-24 20:33:43
阅读次数：
251
数据去重主要是为了利用并行化的思想对数据进行有意义的筛选。 统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。 示例文件内容： 此处应有示例文件 设计思路 数据去重的最终目标是让原始数据中出现次数超过一次的数据在输出文件中只出现一次。 自然就想到将同一数据的所... ...
分类：
其他好文 时间：
2016-05-18 23:28:11
阅读次数：
115
考虑这样一个问题：统计某个工程的代码行数。首先想到的思路便是，递归文件树，每层递归里，循环遍历父文件夹下的所有子文件，如果子文件是文件夹，那么再对这个文件夹进行递归调用。于是问题很轻松的解决了。这个方案可以优化吗？ 了 再回想这个问题，可以发现，循环里的递归调用其实相互之间是独立的，互不干扰，各自统计自己路径下的代码文件的行数。于是，发现了这个方案的可优化点——利用线程池进行并行处理。于是一...
分类：
其他好文 时间：
2016-05-18 18:45:50
阅读次数：
181
在理想情况下，编译器使用自动并行化能够管理一切事务，使用OpenMP指令的一个优点是将并行性和算法分离，阅读代码时候无需考虑并行化是如何实现的。当然for循环是可以并行化处理的天然材料，满足一些约束的for循环可以方便的使用OpenMP进行傻瓜化的并行。
为了使用自动并行化对Mandelbrot集合进行计算，必须对代码进行内联：书中首次使用自动并行化时候发现工作在线程中并未评价分配
#...
分类：
其他好文 时间：
2016-05-12 16:29:40
阅读次数：
311
MapReduce的体系结构 Hadoop MapReduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上TB的数据集。 采用MapReduce架构实现的程序能够在大量的普通配置的计算机构成的集群中实现并行化操作。MapR... ...
分类：
其他好文 时间：
2016-05-11 10:51:44
阅读次数：
161
此笔，对于仅对于Hadoop初学者。高手请忽略！ 1 Java基础： 视频方面： 推荐《毕向东JAVA基础视频教程》。学习hadoop不需要过度的深入，java学习到javase，在多线程和并行化多多理解实践即可。 书籍方面： 推荐李兴华的《java开发实战经典》 2 Linux基础： 视频方面： ...
分类：
其他好文 时间：
2016-04-30 16:46:52
阅读次数：
142
本项目为连锁店餐饮系统。前台C#，服务器采用Java开发，oracle数据库；通过webservice实现前后台的交互，后台以提供服务的方式，供前端调用并进行数据库操作。
商家根据餐饮副食店实际情况提出了新的需求，希望能够通过在店内放置触摸屏的方式，使会员顾客能够以触摸屏的方式选择商品并放入自己的购物车，之后售货员只需要读取卡内的购物车信息即可刷卡消费，这样大大节约了顾客挑选商品的时间，使整个购物流程并行化程度提高。由于顾客消费的时间大多集中在早中晚，并行化会使店内的销售量显著提高。
经过一周的时间终于完成...
分类：
其他好文 时间：
2016-04-29 19:37:25
阅读次数：
194
前言：本篇文章主要通过一个简单的例子程序对C-Mex进行一个初步的说明。前期的环境搭建（包括安装Matlab和gcc编译器）就不在这里赘述了。 首先，为什么要使用C-Mex？说开了，就是程序的效率问题。最近，我在做一个并行化的项目，原来的程序是用Matlab编写的，运行时间为6个小时以上，在我改成M ...
分类：
其他好文 时间：
2016-04-24 12:42:33
阅读次数：
169
