SparkStandalone模式安装SparkStandalone集群手动启动集群集群创建脚本提交应用到集群创建Spark应用资源调度及分配监控与日志与Hadoop共存配置网络安全端口高可用性基于Zookeeper的Master本地系统的单节点恢复除了运行在mesos或yarn集群管理器中，spa...
分类：
其他好文 时间：
2016-01-05 23:55:55
阅读次数：
508
Anatomy of a MapReduce Job
In MapReduce, a YARN application is called a Job. The implementation of the Application Master provided by the MapReduce
framework is called MRAppMaster.
Timeline ...
分类：
其他好文 时间：
2016-01-05 22:47:56
阅读次数：
292
转自：http://liujiacai.net/blog/2014/09/07/yarn-intro/Yarn是随着hadoop发展而催生的新框架，全称是Yet Another Resource Negotiator，可以翻译为“另一个资源管理器”。yarn取代了以前hadoop中jobtracke...
分类：
其他好文 时间：
2016-01-05 18:09:46
阅读次数：
132
前言在使用hadoop集群的时候,所有的任务都是最终以Application的形式跑在集群中,不管你是自己写的MR程序亦或是你写的hive sql转化成的mr任务,最终都是以Application应用的身份在跑.这些Application跑完之后,这些信息在jobHistory中就可以看了,可以说hadoop在这方面做得真的非常完整.但是完善归完善.但是jobHistory可以说是一种"事后分析"...
分类：
移动开发 时间：
2016-01-05 09:49:49
阅读次数：
305
Hadoop YARN同时支持内存和CPU两种资源的调度，本文介绍如何配置YARN对内存和CPU的使用。YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一定...
分类：
其他好文 时间：
2016-01-04 22:25:24
阅读次数：
222
我们已经知道了Hadoop的三大核心模块：HDFS、MapReduce、Yarn。MapReduce是什么？ MapReduce是一种编程模型，用于大规模数据集的并行计算，其主要思想就是Map(映射)和Reduce(化简)。 MapReduce的创意和灵感来源于函数式编程，在函数式编程中，m...
分类：
其他好文 时间：
2015-12-26 11:33:43
阅读次数：
362
背景介绍Spark有多种集群运行模式，例如：Standalone,Yarn,Mesos。下面就说一下如何在Mesos上运行Spark，这也是官方推荐的一种运行方式。在运行Spark之前咱们先简略介绍一下Mesos。Mesos计算框架是一个集群管理器，提供了有效的、跨分布式的应用或框架的资源隔离和共享...
分类：
其他好文 时间：
2015-12-22 17:43:04
阅读次数：
180
从图中可以看出，Yarn的客户端需要获取hadoop的配置信息，连接Yarn的ResourceManager。所以要有设置有YARN_CONF_DIR或者HADOOP_CONF_DIR或者HADOOP_CONF_PATH,只要设置了其中一个环境变量，就会被读取。如果读取上述的变量失败了，那么将会选择...
分类：
其他好文 时间：
2015-12-17 01:48:57
阅读次数：
247
ResourceManager相关配置参数yarn-site.xml 中配置yarn.resourcemanager.addressResourceManager 对客户端暴露的地址。客户端通过该地址向RM提交应用程序，杀死应用程序等。默认值：${yarn.resourcemanager.hostn...
分类：
其他好文 时间：
2015-12-17 00:33:10
阅读次数：
347
启动申请提交一个job(wordcount.jar和程序中的配置参数和数据切片规划文件)运行进程为runjarResouceManager会在一台节点NodeManager上先启动客户提交的wordcount.jar的主管进程MRAppMasster由主管进程(MRAppMasster)根据启动规则启动mapTask任务(yarnChild进程).如果所有mapTas..
分类：
其他好文 时间：
2015-12-16 09:39:21
阅读次数：
169
