Hadoop集群中有三种作业调度算法，分别为FIFO，公平调度算法和计算能力调度算法先来先服务（FIFO）Hadoop中默认的调度器FIFO，它先按照作业的优先级高低，再按照到达时间的先后选择被执行的作业。FIFO比较简单，hadoop中只有一个作业队列，被提交的作业按照先后顺序在作业队列中排队，新 ...
分类：
编程语言 时间：
2016-05-04 01:08:56
阅读次数：
141
Hadoop中的MapReduce是一个使用简单的软件框架，基于它写出来的应用程序能够运行在由上千个机器组成的大型集群上，并且以一种可靠容错并行处理TB级别的数据集。
一个MapReduce作业(job)通常会把输入的数据集切分为若干独立的数据块，由Map任务并行处理它们。框架会对map函数的输出先进行排序，然后把结果输入 给Reduce任务。通常作业的输入和输出都会被存储在文件系统中。整...
分类：
其他好文 时间：
2016-04-29 19:46:23
阅读次数：
260
Hadoop中的MapReduce是一个使用简单的软件框架，基于它写出来的应用程序能够运行在由上千个机器组成的大型集群上，并且以一种可靠容错并行处理TB级别的数据集。
一个MapReduce作业(job)通常会把输入的数据集切分为若干独立的数据块，由Map任务并行处理它们。框架会对map函数的输出先进行排序，然后把结果输入 给Reduce任务。通常作业的输入和输出都会被存储在文件系统中。整...
分类：
其他好文 时间：
2016-04-26 21:45:06
阅读次数：
351
centos 64位 下hadoop-2.7.2 下编译 由于机器安装的是centos 6.7 64位 系统 从hadoop中下载是32位 hadoop 依赖的的库是libhadoop.so 是32 位 需要重新编译。 下面就是编译的步骤 1 安装jdk<!--?xml:namespace pref ...
分类：
其他好文 时间：
2016-04-26 09:35:11
阅读次数：
238
MapReduce 定义
Hadoop 中的 MapReduce是一个使用简单的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错式并行处理TB级别的数据集
MapReduce 特点
MapReduce 为什么如此受欢迎？尤其现在互联网+时代，互联网+公司都在使用 MapReduce。MapReduce 之所以如此受欢迎，它主要有以下几个特点...
分类：
其他好文 时间：
2016-04-22 20:10:12
阅读次数：
123
Hadoop 中，并没有使用Java自带的基本类型类(Integer、Float等)，而是使用自己开发的类。Hadoop 自带有很多序列化类型，大致分为以下两种： 实现了WritableComparable接口的类 实现了WritableComparable接口的类 基础：BooleanWritab ...
分类：
其他好文 时间：
2016-04-17 11:43:45
阅读次数：
146
目录 1、为什么要序列化？ 2、什么是序列化？ 3、为什么不用Java的序列化？ 4、为什么序列化对Hadoop很重要？ 5、Hadoop中定义哪些序列化相关的接口呢？ 6、Hadoop 自定义Writable 接口 1、为什么要序列化？ 一般来说，"活的"对象只存在内存里，关机断电就没有了。而且" ...
分类：
其他好文 时间：
2016-04-17 10:17:27
阅读次数：
151
1.Hive1.1在hadoop生态圈中属于数据仓库的角色。他能够管理hadoop中的数据，同时可以查询hadoop中的数据。 本质上讲，hive是一个SQL解析引擎。Hive可以把SQL查询转换为MapReduce中的job来运行。 hive有一套映射工具，可以把SQL转换为MapReduce中的 ...
分类：
其他好文 时间：
2016-04-08 06:29:42
阅读次数：
140
Hadoop中的HelloWorld程序--WordCount！！！！ ...
分类：
其他好文 时间：
2016-04-07 01:23:42
阅读次数：
210
1.1 MapReduce编程模型 MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。 在Hadoop中，用于执行MapReduce任 ...
分类：
其他好文 时间：
2016-04-06 08:12:22
阅读次数：
290
