一、问题现象某一个nodemanager退出后，导致applicationmaster中出现大量的如下日志，并且持续很长时间，applicationmaster才成功退出。2016-06-2409:32:35,596INFO[ContainerLauncher#3]org.apache.hadoop.ipc.Client:Retryingconnecttoserver:dchadoop206/192.168.1.199:3295..
分类：
移动开发 时间：
2016-12-09 19:49:49
阅读次数：
256
1.生成TSV文件 2.内容 3.上传到HDFS 4.运行 $HADOOP_HOME/bin/yarn jar lib/hbase-server-0.98.6-hadoop2.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY,info:age,info: ...
分类：
其他好文 时间：
2016-12-09 19:22:37
阅读次数：
176
当在YARN上运行Spark作业，每个Spark executor作为一个YARN容器运行。Spark可以使得多个Tasks在同一个容器里面运行。 以下参数配置为例子： spark-submit --master yarn-cluster #使用集群调度模式(一般使用这个参数) --num-exec ...
分类：
其他好文 时间：
2016-12-09 08:38:44
阅读次数：
305
1、编译Slider，[root@plat1apache-slider-0.91.0-incubating]#pwd
/usr/local/src/apache-slider-0.91.0-incubating因采用CDH版本hadoop(2.6.0-cdh5.9.0),hbase(1.2.0-cdh5.9.0)，修改该目录下pom文件<hadoop.version>2.6.0-cdh5.9.0</hadoop.version>
<hbase...
分类：
其他好文 时间：
2016-12-06 00:08:32
阅读次数：
625
YARN（YetAnotherResourceNegotiator），它是统一的资源管理平台，是在Hadoop2.0中才出现的一个组件。YARN是Hadoop的处理层，包含资源管理器和作业调度器。它在它的资源管理器中去分配好队列，这个队列划分可以根据业务规则，根据技术的模块进行划分，比如同时拥有hive和hbase..
分类：
其他好文 时间：
2016-12-05 23:55:39
阅读次数：
357
本文从Hadoop是什么、能做什么、谁使用三个主要问题去讲解。对于重点知识如MapReduce、YARN、Hadoop生态系统内的其他组件（HBase、Pig、Hive、Zookeeper等）的介绍和使用这里不做详细说明，需要大家对这些内容扩展并深入学习。1、Hadoop是什么及功能1、2002年，Hadoop作为一个..
分类：
其他好文 时间：
2016-12-05 02:54:44
阅读次数：
164
一：框架 1.支持的框架 -》job -》yarn -》mr1 -》oozie -》HDFS -》查文件 -》文件的管理 -》增删改查 -》hive -》rdbms 二：安装 1.下载hue包 2.需要安装的依赖 3.检测依赖 4.安装依赖包 sudo yum install ant asciido ...
分类：
其他好文 时间：
2016-12-03 01:43:28
阅读次数：
213
首先要说一下，Hadoop 2.x版本以后的改动，在这里帖一篇文章，觉得写的不错。 http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/ 接下来，我们来搭建Hadoop单机版本，我下的版本是2.7.3，同样的我们还是下载 ...
分类：
其他好文 时间：
2016-12-02 13:59:36
阅读次数：
215
Spark是一个分布式内存计算框架，可部署在YARN或者MESOS管理的分布式系统中（Fully Distributed），也可以以Pseudo Distributed方式部署在单个机器上面，还可以以Standalone方式部署在单个机器上面。运行Spark的方式有interactive和submi ...
分类：
系统相关 时间：
2016-12-02 12:02:30
阅读次数：
216
一、问题描述yarn2.0发生resourcemanagerdown(master2)掉，并引起resourcemanager的failover切换二、问题分析1）看master2上resourcemanager的日志2016-06-2612:35:41,504INFOorg.apache.hadoop.yarn.server.resourcemanager.RMAuditLogger:USER=warehouseOPERATION=AMReleased..
分类：
其他好文 时间：
2016-12-01 23:07:35
阅读次数：
1037
