码迷,mamicode.com
首页 > 其他好文 > 详细

Spark History Server 配置部署

时间:2019-07-19 16:53:29      阅读:97      评论:0      收藏:0      [点我收藏+]

标签:ica   文件存储   cto   eve   信息   snappy   检查   通过   snap   

简介

为了可以通过WebUI控制台页面来查看具体的运行细节,解决应用程序运行结束,无法继续查看监控集群信息。无法回顾运行的程序细节,配置开启spark.history服务.Spark History Server可以很好地解决上面的问题。

配置文件位置:

$SPARK_HOME$/conf目录下的spark-defaults.conf文件。默认spark-defaults.conf是不存在的,我们可以根据Spark提供的template文件新建。

配置参数描述

spark.master                     spark://172.20.101.157:7070,172.20.101.164:7070,172.20.101.165:7070
#spark集群的Master节点的ip地址

spark.history.updateInterval
#默认值:10,以秒为单位,更新日志相关信息的时间间隔

spark.history.retainedApplications
#默认值:50,在内存中保存Application历史记录的个数,如果超过这个值,旧的应用程序信息将被删除,当再次访问已被删除的应用信息时需要重新构建页面。

spark.history.ui.port
#默认值:4040,HistoryServer的web端口

spark.history.ui.acls.enable
#默认值:false,授权用户查看应用程序信息的时候是否检查acl。如果启用,只有应用程序所有者和spark.ui.view.acls指定的用户可以查看应用程序信息;否则,不做任何检查

spark.eventLog.enabled 
#默认值:false ,是否记录Spark事件,用于应用程序在完成后重构webUI

spark.eventLog.dir
#默认值:file:///tmp/spark-events,保存日志相关信息的路径,可以是hdfs://开头的HDFS路径,也可以是file://开头的本地路径,都需要提前创建

spark.eventLog.compress 
#默认值:false,是否压缩记录Spark事件,前提spark.eventLog.enabled为true,默认使用的是snappy

本地文件存储日志配置案例:

spark-defaults.conf

spark.master                     spark://172.20.101.157:7070,172.20.101.164:7070,172.20.101.165:7070
spark.history.ui.port            18080
spark.history.retainedApplications  10
spark.eventLog.compress          true
spark.eventLog.enabled           true
spark.eventLog.dir               file:/data/sparkhistory
spark.history.fs.logDirectory    file:/data/sparkhistory

启动服务

$SPARK_HOME/sbin/start-history-server.sh

访问

浏览器:http://nodeIP:18080

Spark History Server 配置部署

标签:ica   文件存储   cto   eve   信息   snappy   检查   通过   snap   

原文地址:https://blog.51cto.com/michaelkang/2421775

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!