1）引言
针对MRv1在扩展性，可靠性，资源利用率和多框架的支持上存在着明显的不足，进而诞生了下一代的MapReduce的计算框架MapReduce Version2,MRV1中有一个很大的问题就是把资源管理和作业调度都扔给了JobTracker，造成了严重的单点瓶颈问题，所有MRV2主要在这一点上做了改进，他将资源管理模块构建成了一个独立的通用系统叫做Yarn，一下子MRV2的核心从MapRe...
分类：
其他好文 时间：
2014-12-15 15:32:39
阅读次数：
212
hbase 结合MapReduce 批量导入...
分类：
其他好文 时间：
2014-12-15 09:06:45
阅读次数：
236
http://www.chinahadoop.cn/page/developer什么是大数据开发师？围绕大数据系平台系统级的研发人员， 熟练Hadoop、Spark、Storm等主流大数据平台的核心框架。深入掌握如何编写MapReduce的作业及作业流的管理完成对数据的计算，并能够使用Hadoop提...
分类：
其他好文 时间：
2014-12-14 19:54:40
阅读次数：
280
PouchDB是一个开源的JavaScript数据库，可以运行在浏览器中。PouchDB的数据存储、处理方式受到了Apache CouchDB的启发（CouchDB是一个面向文档的数据库，可通过JavaScript以MapReduce的方式对数据进行查询和索引，同时还提供增量复制的双向冲突检测和解决...
分类：
数据库 时间：
2014-12-13 20:28:50
阅读次数：
174
Apache Hadoop YARN: Moving beyond MapReduce and Batch Processing with Apache Hadoop 2
Apache Hadoop YARN: Moving beyond MapReduce and Batch Processing with Apache Hadoop 2 .mobi: http://www....
分类：
Web程序 时间：
2014-12-13 19:26:27
阅读次数：
180
pig 提供了一个基于hadoop并行执行数据流处理的引擎,以Pig Latin来描述数据流，相当于一个有向无环图（DAG），节点代表处理数据的操作符，节点间的向量代表数据流。pig 提供了类SQL的标准操作，比直接写mapreduce代码更容易维护，主要用于ETL,原生数据研究和迭代处理。pig 什么数据都吃，也能在非hadoop上并行运算，容易控制和修改，性能较快。用户提交hadoop任务的那...
分类：
其他好文 时间：
2014-12-13 17:58:05
阅读次数：
182
本篇是大数据系列的开局篇，主要介绍了Hadoop家族，HDFS和MapReduce的概念；通过以“专利数据集”为测试对象，编写MapReduce Demo，了解Hadoop MapReduce的内部运行机制以及Map和Reduce的输入输出键值对如何生成与相互关联等。
分类：
其他好文 时间：
2014-12-13 17:43:37
阅读次数：
355
一、MapReduce已死，Spark称霸? 由于Hadoop的MapReduce高延迟的死穴，导致Hadoop无力处理很多对时间有要求的场景，人们对其批评越来越多，Hadoop无力改变现在而导致正在死亡。正如任何领域一样，死亡是一个过程，...
分类：
其他好文 时间：
2014-12-12 23:41:39
阅读次数：
563
一、MapReduce已死，Spark称霸由于Hadoop的MapReduce高延迟的死穴，导致Hadoop无力处理很多对时间有要求的场景，人们对其批评越来越多，Hadoop无力改变现在而导致正在死亡。正如任何领域一样，死亡是一个过程，Hadoop正在示例这样的一个过程，Hadoop的死亡过程在20...
分类：
其他好文 时间：
2014-12-12 23:31:32
阅读次数：
194
