前言
MapReduce打开了并行计算的大门，让我们个人开发者有了处理大数据的能力。但想用好MapReduce，把原来单机算法并行化，也不是一件容易事情。很多的时候，我们需要从单机算法能否矩阵化去思考，所以矩阵操作就变成了算法并行化的基础。
矩阵介绍
为了方便说明，举两个矩阵作为示例：
，
容易看出，是一个矩阵，是一个矩阵，我们能够算出：
这三个矩阵当然不大，但...
分类：
其他好文 时间：
2016-03-31 14:54:49
阅读次数：
270
Hadoop提供了一个稳定的共享存储和分析系统，存储由HDFS实现，分析由MapReduce实现 MapReduce是分布式数据处理模式和执行环境 HDFS是分布式文件系统 为什么用MapReduce而不用数据库+更多磁盘？ 1、磁盘驱动器发展趋势：寻址时间的提高速度远远慢于传输速率的提高速度，寻址
分类：
其他好文 时间：
2016-03-02 20:01:56
阅读次数：
159
#测试数据： # more user.txt(用户ID，用户名) [java] view plain copy 1 lavimer 2 liaozhongmin 3 liaozemin #more post.txt(用户ID，帖子ID，标题) [java] view plain copy 1 1 j
分类：
其他好文 时间：
2016-01-31 21:20:28
阅读次数：
231
转自：http://blog.csdn.net/u011750989/article/details/12004065输入:日期 ...cookie id. ...商品id..xx xx xx输出:商品id 商品id列表(按优先级排序,用逗号分隔)xx xx比如:id1 id3,id0,id4,id...
分类：
其他好文 时间：
2016-01-05 22:44:16
阅读次数：
342
MapReduce模型主要包含Mapper类和Reducer类两个抽象类。Mapper类主要负责对数据的分析处理，最终转化为key-value数据对；Reducer类主要获取key-value数据对，然后处理统计，得到结果。MapReduce实现了存储的均衡，但没有实现计算的均衡。一. MapR.....
分类：
其他好文 时间：
2015-12-17 23:53:57
阅读次数：
198
#测试数据：# more user.txt(用户ID，用户名)[java] view plaincopy1 lavimer 2 liaozhongmin 3 liaozemin #more post.txt(用户ID，帖子ID，标题)[java] view plaincopy1 ...
分类：
其他好文 时间：
2015-12-15 14:06:44
阅读次数：
167
倒排索引倒排索引"是文档检索系统中最常用的数据结构，被广泛地应用于全文搜索引擎。它主要是用来存储某个单词（或词组）在一个文档或一组文档中的存储位置的映射，即提供了一种根据内容来查找文档的方式。由于不是根据文档来确定文档所包含的内容，而是进行相反的操作，因而称为倒排索引（Inverted Index）...
分类：
其他好文 时间：
2015-11-23 00:55:01
阅读次数：
179
多表链接输入是两个文件，一个代表工厂表，包含工厂名列和地址编号列；另一个代表地址表，包含地址名列和地址编号列。要求从输入数据中找出工厂名和地址名的对应关系，输出"工厂名——地址名"表。factory：factoryname addressedBeijing Re...
分类：
其他好文 时间：
2015-11-22 23:15:10
阅读次数：
289
单表关联实例中给出child-parent（孩子——父母）表，要求输出grandchild-grandparent（孙子——爷奶）表。file：child parentTom LucyTom JackJone LucyJone J...
分类：
其他好文 时间：
2015-11-22 20:23:25
阅读次数：
406
