大数据数据处理最常用的是两类模式：批处理和流计算。在open source领域，批处理最有名的组件自然是大名鼎鼎的Hadoop MapReduce，而流计算则是Storm。 Storm是一个分布式的、容错的实时计算系统，目前是Apache 的一个incubator project (http://storm.incubator.apache.org/）。介绍Storm基本概念的文章已经很多了，本文就不再赘述。在此仅仅速记一下笔者实际安装 Storm的步骤。...
分类：
其他好文 时间：
2014-09-14 23:44:17
阅读次数：
284
http://blog.oddfoo.net/2011/04/17/mapreduce-partition%E5%88%86%E6%9E%90-2/Partition所处的位置Partition位置Partition主要作用就是将map的结果发送到相应的reduce。这就对partition有两个要...
分类：
其他好文 时间：
2014-09-13 22:46:16
阅读次数：
241
Hadoop是云计算的事实标准软件框架，是云计算理念、机制和商业化的具体实现，是整个云计算技术学习中公认的核心和最具有价值内容。如何从企业级开发实战的角度开始，在实际企业级动手操作中深入浅出并循序渐进的掌握Hadoop是本课程的核心。云计算学习者的心声：如何从企业级开发的角度，不断动手实际操作，循序...
分类：
移动开发 时间：
2014-09-13 18:34:35
阅读次数：
300
Hadoop是云计算的事实标准软件框架，是云计算理念、机制和商业化的具体实现，是整个云计算技术学习中公认的核心和最具有价值内容。如何从企业级开发实战的角度开始，在实际企业级动手操作中深入浅出并循序渐进的掌握Hadoop是本课程的核心。云计算学习者的心声：如何从企业级开发的角度，不断动手实际操作，循序...
分类：
移动开发 时间：
2014-09-13 17:05:15
阅读次数：
333
Hadoop MapReduceV2(Yarn) 框架简介 原 Hadoop MapReduce 框架的问题 对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop 框架的介绍在此不再累述，读...
分类：
其他好文 时间：
2014-09-10 22:35:31
阅读次数：
401
Hadoop的调度器总结 随着MapReduce的流行，其开源实现Hadoop也变得越来越受推崇。在Hadoop系统中，有一个组件非常重要，那就是调度器，它的作用是将系统中空闲的资源按一定策略分配给作业。在Hadoop中，调度器是一个可插拔的模块，用户可以根据自己的实际应用要求设计调度器。Hado....
分类：
其他好文 时间：
2014-09-10 21:03:51
阅读次数：
248
MapReduce工作原理图文详解1.Map-Reduce 工作机制剖析图:1.首先,第一步,我们先编写好我们的map-reduce程序,然后在一个client 节点里面进行提交.(一般来说可以在Hadoop集群里里面的任意一个节点进行,只要该节点装了Hadoop并且连入了Hadoop集群)2.jo...
分类：
其他好文 时间：
2014-09-10 19:28:40
阅读次数：
426
MapReduce工作原理图文详解正文：1.MapReduce作业运行流程流程分析：1.在客户端启动一个作业。2.向JobTracker请求一个Job ID。3.将运行作业所需要的资源文件复制到HDFS上，包括MapReduce程序打包的JAR文件、配置文件和客户端计算所得的输入划分信息。这些文件都...
分类：
其他好文 时间：
2014-09-10 19:23:20
阅读次数：
245
一、Spark与Hadoop的关系 Spark和Hadoop只是共用了底层的MapReduce编程模型，即它们均是基于MapReduce思想所开发的分布式数据处理系统。 Hadoop采用MapReduce和HDFS技术，其MapReduce计算模型核心即Map操作和Reduce操作，在这个计算模.....
分类：
其他好文 时间：
2014-09-10 19:12:50
阅读次数：
311
前言对技术，我还是抱有敬畏之心的。Hadoop概述Hadoop是一个开源分布式云计算平台，基于Map/Reduce模型的，处理海量数据的离线分析工具。基于Java开发，建立在HDFS上，最早由Google提出，有兴趣的同学可以从Google三驾马车:GFS,mapreduce,Bigtable开始了...
分类：
其他好文 时间：
2014-09-10 13:52:40
阅读次数：
298
