转自：http://liujiacai.net/blog/2014/09/07/yarn-intro/Yarn是随着hadoop发展而催生的新框架，全称是Yet Another Resource Negotiator，可以翻译为“另一个资源管理器”。yarn取代了以前hadoop中jobtracke...
分类：
其他好文 时间：
2016-01-05 18:09:46
阅读次数：
132
我们知道，任何一个工程项目，最重要的是三个部分：输入，中间处理，输出。今天我们来深入的了解一下我们熟知的Hadoop系统中，输入是如何输入的？ 在hadoop中，输入数据都是通过对应的InputFormat类和RecordReader类来实现的，其中InputFormat来实现将对应输入文件进...
分类：
其他好文 时间：
2015-12-28 18:27:18
阅读次数：
200
Hadoop 中的MapReduce是一个使用简单的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错式并行处理TB级别的数据集。 一个MapReduce作业(job)通常会把输入的数据集切分为若干独立的数据块，由Map任务以完成并行的方式处理它们。...
分类：
其他好文 时间：
2015-12-19 12:18:17
阅读次数：
145
官方的中文版的Hadoop快速入门教程已经是很老的版本了，新版的Hadoop目录结构发生了变化，因此一些配置文件的位置也略微调整了，例如新版的hadoop中找不到快速入门中提到的conf目录，另外，网上有很多教程也是关于老版本的。本教程主要是针对Hadoop 2.X版本，在Ubuntu系统上的搭.....
分类：
系统相关 时间：
2015-12-16 15:21:50
阅读次数：
201
一：背景Speculative Task，又叫推测式任务，是指在分布式集群环境下，因为程序bug，负载不均衡或者资源分布不均，造成同一个job多个task运行速度不不一致，有的task运行速度明显要慢于其他task(比如：一个job的某个task进度只有10%，而其他所有task已经运行完毕)，则这...
分类：
其他好文 时间：
2015-12-15 14:10:23
阅读次数：
141
转自：http://blog.csdn.net/androidlushangderen/article/details/41356521在Hadoop中，启动作业运行的方式有很多，可以用命令行格式把打包好后的作业提交还可以，用Hadoop的插件进行应用开发，在这么多的方式中，都会必经过一个流程，作业...
分类：
其他好文 时间：
2015-12-13 21:49:31
阅读次数：
244
生成key：$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys -t 密钥类型可以用 -t 选项指定。如果没有指定则默认生成用于SSH-2的RSA密钥。 -f file...
分类：
系统相关 时间：
2015-12-09 23:26:16
阅读次数：
399
转自：http://my.oschina.net/leejun2005/blog/100922最近几次被问到关于数据倾斜的问题，这里找了些资料也结合一些自己的理解. 在并行计算中我们总希望分配的每一个task 都能以差不多的粒度来切分并且完成时间相差不大，但是集群中可能硬件不同，应用的类型不同和切分...
分类：
其他好文 时间：
2015-12-06 17:26:35
阅读次数：
206
Hadoop中只适用于Hbase分布式部署,hadoop的HA自动切换.概述: zookeeper是应用于分布式应用的,是一个分布式协调服务.实现分布式应用,同步,配置管理,分组还有命名服务的.实现分布式应用中的协调服务.侧重于高性能,高可靠,还有顺序访问,HDFS只做存储,出发点不一样,都...
分类：
其他好文 时间：
2015-11-26 06:52:25
阅读次数：
253
Hadoop有一个抽象文件系统的概念，hdfs只是其中的一个实现，Java抽象类org.apache.hadoop.fs.FileSystem定义了hadoop中的一个文件系统接口，hdfs是实现了这个接口的一个文件系统，还有其它的文件系统实现，例如使用了本地磁盘文件系统的Local文件系统和Raw...
分类：
其他好文 时间：
2015-11-17 00:02:33
阅读次数：
204
