1）引言
针对MRv1在扩展性，可靠性，资源利用率和多框架的支持上存在着明显的不足，进而诞生了下一代的MapReduce的计算框架MapReduce Version2,MRV1中有一个很大的问题就是把资源管理和作业调度都扔给了JobTracker，造成了严重的单点瓶颈问题，所有MRV2主要在这一点上做了改进，他将资源管理模块构建成了一个独立的通用系统叫做Yarn，一下子MRV2的核心从MapRe...
分类：
其他好文 时间：
2014-12-15 15:32:39
阅读次数：
212
转载请注明： TheViperhttp://www.cnblogs.com/TheViper在上一篇socket.io迁移指南中提到过一点engine.io.engine.io是socket.io 1.x的抽象，核心。特点： Maximum reliability（最大的可靠性）即使在下列情况...
分类：
其他好文 时间：
2014-12-14 23:57:13
阅读次数：
231
http://www.chinahadoop.cn/page/developer什么是大数据开发师？围绕大数据系平台系统级的研发人员， 熟练Hadoop、Spark、Storm等主流大数据平台的核心框架。深入掌握如何编写MapReduce的作业及作业流的管理完成对数据的计算，并能够使用Hadoop提...
分类：
其他好文 时间：
2014-12-14 19:54:40
阅读次数：
280
个人浏览网页的时候，有打标签的习惯。最近整理以往的标签的时候，发现积累了一些有关七牛公司存储方案的网页，遂决定整理一篇文章处理，以备记忆。当然，也希望对他人有用。
引言：何为纠删码
数据的爆炸式增长使得存储系统的规模不断增加，存储设备的可靠性却一直没有得到显著提高（SSD 从SLC 到MLC 和TLC 可靠性不断下降，磁盘随着单位面积写入数据更多导致可靠性无法提升），从而给数据的持...
分类：
编程语言 时间：
2014-12-13 21:53:17
阅读次数：
413
Apache Hadoop YARN: Moving beyond MapReduce and Batch Processing with Apache Hadoop 2
Apache Hadoop YARN: Moving beyond MapReduce and Batch Processing with Apache Hadoop 2 .mobi: http://www....
分类：
Web程序 时间：
2014-12-13 19:26:27
阅读次数：
180
先来看一下一张技术的全景图，其中涉及内存计算的技术标成红色。 1）事务处理：主要分为Cache(Memcached, Redis, GemFire)、RDBMS、NewSQL(以VoltDB为首的)三部分，缓存和NewSQL数据库是关注的重点。2）流式处理：Storm本身只是计算的框架，而Spark-Streaming才实现了内存计算式的流处理。3）分析阶段的对比：Ø 通用处理：MapReduc...
分类：
其他好文 时间：
2014-12-13 15:11:40
阅读次数：
484
Release Notes - Apache Storm - Version 0.9.2-incubating Sub-task [STORM-207] - Add storm-starter as a module [STORM-208] - Add storm-kafka as a module [STORM-223] - Safe YAML Parsing [STORM-232] - ...
分类：
Web程序 时间：
2014-12-12 15:07:15
阅读次数：
429
Trident主要有5类操作： 1、作用在本地的操作，不产生网络传输。 2、对数据流的重分布，不改变流的内容，但是产生网络传输。 3、聚合操作，有可能产生网络传输。 4、作用在分组流（grouped streams）上的操作。 ...
分类：
其他好文 时间：
2014-12-12 13:28:26
阅读次数：
1018
