【甘道夫】Spark1.3.0 Submitting Applications 官方文档精华摘要

时间：2015-04-15 19:39:19 阅读：278 评论：0 收藏：0 [点我收藏+]

标签：

引言

由于工作需要，即将拥抱Spark，曾经进行过相关知识的学习，现在计划详细读一遍最新版本Spark1.3的部分官方文档，一是复习，二是了解最新进展，三是为公司团队培训做储备。

欢迎转载，请注明出处：

http://blog.csdn.net/u010967382/article/details/45062381

原文URL：http://spark.apache.org/docs/latest/submitting-applications.html

该文档重点介绍如何将编写好的Spark应用程序提交到Spark集群中运行。

首先需要将应用程序的所有依赖都打包到应用程序jar中。

注意，无需将Spark和Hadoop作为依赖包加入集合jar中，因为在运行时Cluster Manager会提供这些系统级的依赖。

一旦程序打包好了，就可以通过bin/spark-submit脚本将应用程序提交给Spark集群。

bin/spark-submit脚本格式如下：

./bin/spark-submit \

--class <main-class>

--master <master-url> \

--deploy-mode <deploy-mode> \

--conf <key>=<value> \

... # other options

<application-jar> \

[application-arguments]

一些常用的选项包括：

--class: 应用程序的入口类，包含main方法；
--master: 集群中Master节点的URL(e.g. spark://23.195.26.187:7077) ，该参数一言难尽，后面有详细说明；
--deploy-mode: 决定你的driver程序的运行位置，cluster模式是运行在worker节点上，client模式是运行在集群外部。默认是client模式；
--conf: 任意Spark的基础属性配置，用key=value格式；
application-jar: 指向应用程序jar包的路径，路径必须全局可见，要么是一个hdfs路径，要么是一个所有node本地都有的文件路径；
application-arguments: 应用程序接收的参数。

关于--deploy-mode参数：

client模式：一个常见的部署策略是从一台网关机器提交你的应用程序，这台机器和你的worker机器物理上很接近（例如集群中的Master节点）。在这样的场景下，client模式就非常适合。在client模式中，driver程序直接在spark-submit进程中启动，spark-submit进程对于集群来说就是一个客户端程序。应用程序的输入和输出都会通过控制台。这样的话，client模式就尤其适合包含REPL（“读取-求值-输出”循环，英语:Read-Eval-Print Loop,简称REPL）的应用程序，比如Spark shell。
cluster模式：另一个经典场景，cluster模式，如果你的应用程序从一台离workder机器较远的机器提交（例如从你的笔记本电脑上提交），通常会通过cluster模式来最小化driver和executors之间的网络延迟。注意，cluster模式现在尚未支持Mesos集群或者Python应用程序。

关于--master参数：

Master URL	Meaning
local	Run Spark locally with one worker thread (i.e. no parallelism at all).
local[K]	Run Spark locally with K worker threads (ideally, set this to the number of cores on your machine).
local[*]	Run Spark locally with as many worker threads as logical cores on your machine.
spark://HOST:PORT	Connect to the given Spark standalone cluster master. The port must be whichever one your master is configured to use, which is 7077 by default.
mesos://HOST:PORT	Connect to the given Mesos cluster. The port must be whichever one your is configured to use, which is 5050 by default. Or, for a Mesos cluster using ZooKeeper, use `mesos://zk://...`.
yarn-client	Connect to a YARN cluster in client mode. The cluster location will be found based on the HADOOP_CONF_DIR variable.
yarn-cluster	Connect to a YARN cluster in cluster mode. The cluster location will be found based on HADOOP_CONF_DIR.

spark-submit脚本将默认读取conf/spark-defaults.conf中的配置属性，我们可以在conf/spark-defaults.conf文件中做好基础属性的配置，就无需在spark-submit脚本中重复指定了，例如，如果spark.master属性已经设置了，你就可以不用在调用spark-submit脚本时再次传入spark.master参数。

【甘道夫】Spark1.3.0 Submitting Applications 官方文档精华摘要

标签：

原文地址：http://blog.csdn.net/u010967382/article/details/45062381

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)

周排行