很多时候，Yarn 的用户希望知道自己运行过的某个 MapReduce job 的运行参数，此时可以从MapReduce History Server的 web console上查阅该 job的conf xml 文件内容。当然用户也可以先登录Yarn 的 web console的地址，然后再从上面跳转到 Job History Server 的 web console进行查阅。本文将以一个简单的图文例子来具体演示该功能。...
分类：
Web程序 时间：
2014-12-22 22:50:16
阅读次数：
309
引言 MapReduce作出保证：进入每个Reducer的数据行都是有序的（根据数据行的键值进行排序）。MapReduce将Mapper的输出进行排序并传递给Reducer作为输入的过程称为Shuffle。在很多场景下，Shuffle是整个MapReduce过程的核心，也是“奇迹”发生的地方，如下图...
分类：
其他好文 时间：
2014-12-22 22:34:02
阅读次数：
1516
本文地址：http://www.cnblogs.com/archimedes/p/mapreduce-inverted-index.html，转载请注明源地址。1.倒排索引简介倒排索引（Inverted index），也常被称为反向索引、置入档案或反向档案，是一种索引方法，被用来存储在全文搜索下某个...
分类：
其他好文 时间：
2014-12-22 22:31:22
阅读次数：
190
MongoDB除了基本查询功能之外，还有强大的聚合工具，其中包括：count()、distinct()、group()、mapreduce. 计数函数count count是最简单的聚合工具，用于返回文档的数量： >db.user.count() // 返回集合user的个数 传递查询文档时，则计算...
分类：
数据库 时间：
2014-12-22 21:06:31
阅读次数：
183
引言MapReduce作出保证：进入每个Reducer的数据行都是有序的（根据数据行的键值进行排序）。MapReduce将Mapper的输出进行排序并传递给Reducer作为输入的过程称为Shuffle。在很多场景下，Shuffle是整个MapReduce过程的核心，也是“奇迹”发生的地方，如下图所...
分类：
其他好文 时间：
2014-12-22 17:36:53
阅读次数：
189
PageRank算法的MapReduce实现...
分类：
编程语言 时间：
2014-12-22 16:18:48
阅读次数：
212
1 运行环境说明... 41.1 硬软件环境... 41.2 机器网络环境... 42 书面作业1：对云计算的看法... 42.1 书面作业1内容... 42.2 回答... 53 书面作业2：使用MapReduce求每年最低温度... 63.1 书面作业2内容... 63.2 运行代码... 63...
分类：
其他好文 时间：
2014-12-22 14:18:42
阅读次数：
727
了解hadoop，首先就需要先了解hadoop的数据流，就像了解servlet的生命周期似的。hadoop是一个分布式存储（hdfs）和分布式计算框架（mapreduce），但是hadoop也有一个很重要的特性：hadoop会将mapreduce计算移动到存储有部分数据的各台机器上。术语 Ma...
分类：
其他好文 时间：
2014-12-22 10:46:04
阅读次数：
270
hadoop的核心分为两块，一是分布式存储系统-hdfs，这个我已经在上一章节大致讲了一下，另一个就是hadoop的计算框架-mapreduce。 mapreduce其实就是一个移动式的基于key-value形式的分布式计算框架。 其计算分为两个阶段，map阶段和reduce阶段，都是对数据的处.....
分类：
其他好文 时间：
2014-12-22 10:40:34
阅读次数：
238
单词计数------mapreduce原理及代码...
分类：
其他好文 时间：
2014-12-22 09:30:27
阅读次数：
134
