码迷,mamicode.com
首页 > 其他好文 > 详细

运行Spark程序的几种模式

时间:2017-11-07 20:59:13      阅读:249      评论:0      收藏:0      [点我收藏+]

标签:资源   amp   core   http   dep   mod   上启   sub   task   

一. local 模式 -- 所有程序都运行在一个JVM中,主要用于开发时测试
    无需开启任何服务,可直接运行 ./bin/run-example 或 ./bin/spark-submit 如:
    ./bin/run-example SparkPi 10
    ./bin/spark-submit --class org.apache.spark.examples.SparkPi --master local[4] ./examples/jars/spark-examples_2.11-2.1.1.jar 100
    local[4] 代表会有4个线程(每个线程一个core)来并发执行应用程序。

    此模式下,
        1. 这个SparkSubmit进程又当爹、又当妈,既是客户提交任务的Client进程、又是Spark的driver程序、还充当着Spark执行Task的Executor角色
        2.程序的运行状态可通过 http://<driver-node>:4040 查看,但是这是临时的,程序运行完后,这个UI也就失效了。我们可以启动Spark History Server,这
    样就可以看到历史运行程序的信息了。

    开启Spark History Server,可以在spark-defaults.conf里配置如下信息:
    spark.eventLog.enabled             true
    spark.eventLog.dir                 hdfs://ubuntu1:9000/spark/eventlog
    spark.history.fs.logDirectory      hdfs://ubuntu1:9000/spark/eventlog
    
    通过: 192.168.137.11:18080 访问 history server //如果启动history的话


二. 测试或实验性质的本地伪集群运行模式(单机模拟集群) -- 在单机启动多个进程来模拟集群下的分布式场景
    无需开启任何服务,可直接运行如下命令:
    ./bin/spark-submit --class org.apache.spark.examples.SparkPi --master local-cluster[2,3,512] ./examples/jars/spark-examples_2.11-2.1.1.jar 20
    local-cluster[x,y,z]参数:x代表要生成的executor数,y和z分别代表每个executor所拥有的core和memory数。
    遇到的问题:sc.executorMemory默认值是1024M,如果我们设置的z的值比1024小的话,就会抛错。可以在spark-defaults.conf 里配置sc.executorMemory的大小。如:
    spark.executor.memory              512m
    设置成512(单位M)的原因是:用的是本地VM,总共内存也没多少。但是如果设置小于450m的话,还是会报错。
    此模式下:SparkSubmit依然充当全能角色,又是Client进程,又是driver程序,还有点资源管理的作用
    
    
三. Spark自带Cluster Manager的Standalone Client模式(集群)
    需要先启动Spark的Master和Worker守护进程。提交一个任务的命令如下:
    ./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://ubuntu1:7077 ./examples/jars/spark-examples_2.11-2.1.1.jar 100
    此模式下,1. 会在所有有Worker进程的节点上启动Executor来执行应用程序。
              2. Master进程做为cluster manager,用来对应用程序申请的资源进行管理;
              3. SparkSubmit 做为Client端和运行driver程序;
              4. 运行结果在Shell里可见
    注意,Worker进程生成几个Executor,每个Executor使用几个core,这些都可以在spark-env.sh里面配置


    需要配置项:
    1. slaves 文件
    2. spark-env.sh
        export JAVA_HOME=/opt/programs/jdk1.8.0_131        
        export SPARK_MASTER_IP=ubuntu1
        export SPARK_WORKER_CORES=2
        export SPARK_EXECUTOR_MEMORY=512m
        export SPARK_WORKER_MEMORY=512m
        export SPARK_DRIVER_MEMORY=512m
    
    提交一个Spark程序后,可以通过下面的UI查看任务运行状态。
    UI: 192.168.137.11:8080
        192.168.137.11:18080 //如果启动history的话
        

四. spark自带cluster manager的standalone cluster模式(集群)
    需要先启动Spark的Master和Worker守护进程。提交一个任务的命令如下:
    ./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://ubuntu1:7077 --deploy-mode cluster  ./examples/jars/spark-examples_2.11-2.1.1.jar 50
    此模式下,1. 客户端的SparkSubmit进程会在应用程序提交给集群之后就退出。所以在shell里,运行结果不可见
              2. Master会在集群中选择一个Worker进程生成一个子进程DriverWrapper来启动driver程序
              3. 而该DriverWrapper 进程会占用Worker进程的一个core,所以同样的资源下配置下,会比第3种运行模式,少用1个core来参与计算
              4. 应用程序的结果,会在执行driver程序的节点的stdout中输出
    
    需要配置项:同(三)
    

五. 基于YARN的Resource Manager的Client模式(集群)
    需要先启动 Hadoop 的 YARN。不需要启动Spark的Master、Worker守护进程。运行如下命令
    ./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode client  ./examples/jars/spark-examples_2.11-2.1.1.jar 100
    此模式下:1. 在Resource Manager节点上提交应用程序,会生成SparkSubmit进程,该进程会执行driver程序。
              2. RM会在集群中的某个NodeManager上,启动一个ExecutorLauncher进程,来做为ApplicationMaster
              3. 也会在多个NodeManager上生成CoarseGrainedExecutorBackend进程来并发的执行应用程序
              
    
    Yarn 集群模式需要配置项:
    1. spark-env.sh
    export JAVA_HOME=/opt/programs/jdk1.8.0_131    
    export HADOOP_HOME=/opt/programs/hadoop-2.7.3
    export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
    export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
    export SPARK_HOME=/opt/programs/spark-2.1.1-bin-hadoop2.7
    

六. 基于YARN的Resource Manager的Cluster模式(集群)
    需要先启动 Hadoop 的 YARN。不需要启动Spark的Master、Worker守护进程。运行如下命令
    ./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster  ./examples/jars/spark-examples_2.11-2.1.1.jar 100
    此模式下:1. 在Resource Manager端提交应用程序,会生成SparkSubmit进程,该进程只用来做Client端,应用程序提交给集群后,就会删除该进程。
              2. Resource Manager在集群中的某个NodeManager上运行ApplicationMaster,该AM同时会执行driver程序
              3. 紧接着,会在各NodeManager上运行CoarseGrainedExecutorBackend来并发执行应用程序
              4. 应用程序的结果,会在执行driver程序的节点的stdout中输出,而不是打印在屏幕上。
              
    
    Yarn 集群模式需要配置项:同(五)

运行Spark程序的几种模式

标签:资源   amp   core   http   dep   mod   上启   sub   task   

原文地址:http://www.cnblogs.com/langfanyun/p/7800743.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!