阅读导读：
1.mahout单机内存算法实现和分布式算法实现分别存在哪些问题？
2.算法评判标准有哪些？
3.什么会影响算法的评分？
1.
Mahout推荐算法介绍
Mahout推荐算法，从数据处理能力上，可以划分为2类：
单机内存算法实现
基于Hadoop的分步式算法实现
1).
单机内存算法实现
单机内存算法实现：就是在单机...
分类：
编程语言 时间：
2014-11-01 17:53:30
阅读次数：
397
引言近段时间以来，通过接触有关海量数据处理和搜索引擎的诸多技术，常常见识到不少精妙绝伦的架构图。除了每每感叹于每幅图表面上的绘制的精细之外，更为架构图背后所隐藏的设计思想所叹服。个人这两天一直在搜集各大型网站的架构设计图，一为了一饱眼福，领略各类大型网站架构设计的精彩之外，二来也可供闲时反复琢磨体会...
分类：
Web程序 时间：
2014-10-31 20:27:09
阅读次数：
234
pipeline-filter作为一种处理数据的模式,可以将应用的任务划分为几个自我完备的数据处理步骤，并连接到一个数据管道。本文介绍一种不太常见的pipeline-filter的变体——尾循环的pipeline-filter....
分类：
其他好文 时间：
2014-10-31 15:38:37
阅读次数：
291
SpringBatch的流程图如下： 每个Batch都会包含一个Job。Job就像一个容器，这个容器装了若干Step，Batch中实际干活的也就是这些Step，至于Step干什么活，无外乎读取数据，处理数据，然后将这些数据存储起来(ItemReader用来读取数据，ItemProcesso...
分类：
编程语言 时间：
2014-10-31 10:09:48
阅读次数：
166
/*原理：游标就是把数据按照指定要求提取出相应的数据集，然后逐条进行数据处理。1.1游标的概念 游标(Cursor)它使用户可逐行访问由SQL Server返回的结果集。 使用游标(cursor)的一个主要的原因就是把集合操作转换成单个记录处理方式。 用SQL语言从数据库中检索数据后，结果放在内存....
分类：
数据库 时间：
2014-10-31 01:09:38
阅读次数：
309
众所周知，Hadoop框架使用Mapper将数据处理成一个键值对，再网络节点间对其进行整理(shuffle)，然后使用Reducer处理数据并进行最终输出。 在上述过程中，我们看到至少两个性能瓶颈：如果我们有10亿个数据，Mapper会生成10亿个键值对在网络间进行传输，但如果我们只是对数据求最大值...
分类：
其他好文 时间：
2014-10-30 20:32:28
阅读次数：
283
转载 http://blog.csdn.net/flyqwang/article/details/7395866何谓海量数据处理？ 所谓海量数据处理，其实很简单，海量，海量，何谓海量，就是数据量太大，所以导致要么是无法在较短时间内迅速解决，要么是数据太大，导致无法一次性装入内存。 那解决办法呢?针对...
分类：
其他好文 时间：
2014-10-30 18:39:52
阅读次数：
248
MapReduce是一个编程模型,和处理,产生大数据集的相关实现.用户指定一个map函数处理一个key/value对,从而产生中间的key/value对集.然后再指定一个reduce函数合并所有的具有相同中间key的中间value.下面将列举许多可以用这个模型来表示的现实世界的工作.以这种方式写的程...
分类：
其他好文 时间：
2014-10-29 23:47:03
阅读次数：
441
数据处理大致可以分成两大类： 联机事务处理OLTP （on-line?transaction?processing）、 联机分析处理OLAP （On-Line?Analytical?Processing）。 OLTP是传统的关系型数据库的主要应用 ，主要是基本的、日...
分类：
数据库 时间：
2014-10-29 13:14:31
阅读次数：
266
对二维数据处理的时候，经常遇到需要越界的问题，比如对图像进行滤波操作。对原始数据的边界进行拓展，然后使用拓展后的数据作处理，可以解决越界的问题。根据拓展出的数据的值来自哪里可以分为多种边界拓展方式，我们要实现的是将边界进行奇对称拓展。...
分类：
其他好文 时间：
2014-10-29 13:02:21
阅读次数：
111
