Hadoop学习笔记(7) ——高级编程 从前面的学习中，我们了解到了MapReduce整个过程需要经过以下几个步骤： 1.输入(input):将输入数据分成一个个split，并将split进一步拆成。 2.映射(map)：根据输入的进生处理， 3.合并(combiner)：合并中间相两同的key....
分类：
其他好文 时间：
2014-08-02 23:20:14
阅读次数：
415
1.Hadoop和MapReduce概念Mapreduce是一种模式。Hadoop是一种框架。Hadoop是一个实现了mapreduce模式的开源的分布式并行编程框架。2.Hadoop框架借助Hadoop 框架及云计算核心技术MapReduce 来实现数据的计算和存储，并且将HDFS 分布式文件系统...
分类：
其他好文 时间：
2014-08-02 20:45:54
阅读次数：
252
Hadoop与Hadoop生态系统的区别Hadoop：是一个适合大数据分布式存储和分布式计算的平台，在Hadoop1.x中对应于HDFS和MapReduce；Hadoop生态系统：是一个很庞大的概念，Hadoop是其中最重要最基础的一个部分；生态系统中的每个子系统只负责解决某一个特定的问题域（甚至可...
分类：
其他好文 时间：
2014-08-02 15:27:03
阅读次数：
215
Hadoop1.x和Hadoop2.0构成图对比Hadoop1.x构成： HDFS、MapReduce(资源管理和任务调度)；运行时环境为JobTracker和TaskTracker；Hadoop2.0构成：HDFS、MapReduce/其他计算框架、YARN； 运行时环境为YARN 1、HDFS....
分类：
其他好文 时间：
2014-08-02 15:24:53
阅读次数：
403
看了下MapReduce的例子。再看了下Mapper和Reducer源码，理清了参数的意义，就o了。public class Mapperpublic class Reducer Map是打散过程，把输入的数据，拆分成若干的键值对。Reduce是重组的，根据前面的键值对，重组数据。 自己写M...
分类：
其他好文 时间：
2014-08-01 15:34:21
阅读次数：
205
HBase复制是一种在不同HBase部署中复制数据的方法。它可以作为一种故障恢复的方法，并提供HBase层次的高可用性。在实际应用中，例如，可以将数据从一个面向页面的集群复制到一个MapReduce集群，后者可以同时处理新数据和历史数据。然后再自动将数据传回面向页面请求的集群。
HBase复制中最基本的架构模式是“主推送”（master-push），因为每个region server都有自己的W...
分类：
其他好文 时间：
2014-07-31 13:28:06
阅读次数：
285
这篇文章是看了HBase权威指南之后，依据上面的解说搬下来的样例，可是略微有些不一样。HBase与mapreduce的集成无非就是mapreduce作业以HBase表作为输入，或者作为输出，也或者作为mapreduce作业之间共享数据的介质。这篇文章将解说两个样例：1、读取存储在hdfs上的txt文...
分类：
其他好文 时间：
2014-07-31 12:09:16
阅读次数：
261
Hadoop MapReduce Next Generation - Setting up a Single Node Cluster.PurposeThis document describes how to set up and configure a single-node Hadoop in...
分类：
其他好文 时间：
2014-07-30 23:41:45
阅读次数：
284
HDFS和MapReduce是Hadoop的两大核心。整个Hadoop体系结构主要是通过HDFS来实现分布式存储的底层支持的，并且通过MapReduce来实现分布式并行任务处理的程序支持。...
分类：
其他好文 时间：
2014-07-30 20:57:44
阅读次数：
238
mapreduce中我们自定义的mapper和reducer程序在执行后有可能遇上出错退出的情况，mapreduce中jobtracker会全程追踪任务的执行情况，对于出错的任务mapreduce也定义了一套自己的处理方式。...
分类：
其他好文 时间：
2014-07-30 12:21:22
阅读次数：
209
