Spark集群处理能力不足需要扩容，如何在现有spark集群中新增新节点？本文以一个实例介绍如何给Spark集群新增一个节点。1. 集群环境现有Spark集群包括3台机器，用户名都是cdahdp，主目录/home/ap/cdahdp，配置是2C8G虚拟机，集群基于yarn架构。 Master：128...
分类：
其他好文 时间：
2015-08-02 15:01:27
阅读次数：
142
使用MapReduce编写的中文分词程序出现了 Exception from container-launch: org.apache.hadoop.util.Shell$ExitCodeException: 这样的问题如图：
上网查了好多资料，才明白这是hadoop本身的问题，具体参考：
https://issues.apache.org/jira/browse/YARN-1298
...
分类：
Web程序 时间：
2015-08-01 12:59:50
阅读次数：
339
对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop 框架的介绍在此不再累述，读者可参考Hadoop 官方简介。使用和学习过老 Hadoop 框架（0.20.0 及之前版本）的同仁应该很熟悉如下的原 MapReduce 框架图：图 ...
分类：
其他好文 时间：
2015-07-31 18:02:16
阅读次数：
154
摘要：7月30日，七牛数据平台工程师王团结就七牛内部使用的数据平台，深入分享了该团队在Flume、Kafka、Spark以及Streaming上的实践经验，并讲解了各个工具使用的注意点。
继“ YARN or Mesos？Spark痛点探讨”、“ Mesos资源调度与管理的深入分享与交流”、及“ 主流SQL
on Hadoop框架选择”之后，CSDN Spark微信用户群邀请了王团结...
分类：
微信 时间：
2015-07-31 09:07:00
阅读次数：
297
resourcemanager：管理集群上面的资源 cpu和内存NodeManager:上面跑程序 applicationMaster 多个在NodeManager上面Mapreduce上面的程序叫MRAppMaster在NodeMnager上面Mapreduce 上运行MapTask或Reduce...
分类：
其他好文 时间：
2015-07-30 23:05:39
阅读次数：
130
准备linux环境【java、ip、hostname、hosts、iptables、chkconfig、ssh】下载稳定版2.2.0修改etc/hadoop目录下的配置文件core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml启动验证文件c...
分类：
其他好文 时间：
2015-07-30 23:04:00
阅读次数：
138
概述上一篇文章分析了cloudera manager中监控数据、中心数据的存储方式，如何配置外部表等。这一篇文章进一步分析监控数据的存储，配置，调优等。Service Monitor和Host Monitor角色在cloudera manager中存储了时间序列、健康数据、Impla查询和Yarn应...
分类：
其他好文 时间：
2015-07-30 16:39:19
阅读次数：
124
rpc是Hadoop分布式底层通信的基础，无论是client和namenode，namenode和datanode，以及yarn新框架之间的通信模式等等都是采用的rpc方式。下面我们来概要分析一下Hadoop2的rpc。Hadoop通信模式主要是C/S方式，及客户端和服务端的模式。客户端采用传统的s...
分类：
其他好文 时间：
2015-07-22 18:26:37
阅读次数：
117
这个问题的原因有几个：1、客户端安装的机器一般是虚拟机，虚拟机的名称可能是随便搞的，然而，yarn-client模式提交任务，是默认把本机当成driver的。所以导致其他的机器无法通过host的name直接访问这台机器。报错就是Failed to connect to driver at x.x.x...
分类：
其他好文 时间：
2015-07-22 18:20:15
阅读次数：
554
在往hbase表里通过bulkload导数据时，某个mapreduce跑了一个多小时还没跑，看yarn界面，发现map还有一小部分没跑完，没跑完的map全在pending，running中没有，同时reduce在copy阶段把资源全用光，导致map没资源去跑，进而导致reduce一直在copy状态等...
分类：
其他好文 时间：
2015-07-22 18:05:01
阅读次数：
1700
