当一个应用向YARN集群提交作业后，此作业的多个任务由于负载不均衡、资源分布不均等原因都会导致各个任务运行完成的时间不一致，甚至会出现一个任务明显慢于同一作业的其它任务的情况。如果对这种情况不加优化，最慢的任务最终会拖慢整个作业的整体执行进度。好在mapreduce框架提供了任务推断执行机制，当有必要时就启动一个备份任务。最终会采用备份任务和原任务中率先执行完的结果作为最终结果。...
分类：
其他好文 时间：
2016-05-13 14:57:57
阅读次数：
186
一、对于CDH的小总结： CDH：是Cloudera公司在Apache开源项目hadoop的基础上发型的，共有五个版本前两个已不再更新，最经的两个分别是CDH4（基于hadoop2.0.0版本演化而来）、CDH5（每隔一段时间就会有更新） CDH与Apache hadoop的区别：1.CDH的版本更 ...
分类：
其他好文 时间：
2016-05-13 10:11:48
阅读次数：
156
我是在linux的环境下的Eclipse中开发这个程序的，如果你是在windows环境下写这个程序，请自行调整。
第一步：首先我们确定自己的hadoop的hdfs的环境是好的，我们在linux中启动hdfs,然后在web页面上通过URL测试：http://uatciti:50070
第二步：在Linux下打开Eclipse, 写我们的客户端代码。
说明：我们在Linux系统的/usr...
分类：
编程语言 时间：
2016-05-13 02:45:37
阅读次数：
167
前面两章主要讲解了完全分布式的搭建，这章主要讲解服务器单机完成伪分布的搭建,介绍Hadoop配置，启动，以及简单测试。我的机器:阿里云服务器，64位，Java64，Hadoop2.4.1（64）...
分类：
其他好文 时间：
2016-05-12 22:48:12
阅读次数：
221
集群配置都大同小异,在这里我简单说下我的配置:
主节点系统是Ubuntu 14.04 LTS x64其他两个节点在VM中系统为Centos 6.4 x64
JVM为jdk1.7_80
hadoop版本2.7.1和2.7.2都尝试了
出现的问题是:
启动hdfs系统正常,都启动起来了,jps查看如下
主节点 SecondaryNameNode和 NameNode
从节点:DataN...
分类：
系统相关 时间：
2016-05-12 22:36:20
阅读次数：
590
1. 软件版本 &部署：maven：3.3.9，jdk：1.7 ，Struts2：2.3.24.1，Hibernate：4.3.6，Spring：4.2.5，MySql：5.1.34，Junit：4，Myeclipse：2014；Hadoop2.6.4源码下载地址： https://github.com/fansy1990/ssh_v3/releases 项目部署：1） 修改src/main/re...
分类：
其他好文 时间：
2016-05-12 17:47:21
阅读次数：
295
本文提供了关于hadoop2.7.2(其他版本一个道理)从ant制作eclipse的hadoop插件,到配置eclipse的hadoop,运行mr程序测试的一系类内容...
分类：
编程语言 时间：
2016-05-12 16:10:54
阅读次数：
286
概要
为了调查hadoop生态圈里的制品，特地的了解了一下RDBMS和hdfs之间数据的导入和导出工具，并且调查了一些其他同类的产品，得出来的结论是：都是基于sqoop做的二次开发或者说是webUI包装，实质还是用的sqoop。比如pentaho的PDI，Oracle的ODI，都是基于此，另外，Hortnetwork公司的sandbox，Hue公司的Hue webUI，coulder的coul...
分类：
数据库 时间：
2016-05-12 12:04:30
阅读次数：
364
一 部署本地spark环境
1.1 安装好JDK
下载并安装好jdk1.7，配置完环境变量。
1.2 Spark环境变量配置
去http://spark.apache.org/downloads.html网站下载相应hadoop对应的版本，我下载的是spark-1.6.0-bin-hadoop2.6.tgz，spark版本是1.6，对应...
library(SparkR, lib.loc = c("/usr/local/spark/spark-1.5.2-bin-hadoop2.6/R/lib") Sys.setenv(SPARK_HOME="/usr/local/spark/spark-1.5.2-bin-hadoop2.6") sc ...
分类：
其他好文 时间：
2016-05-09 22:12:06
阅读次数：
204
