码迷,mamicode.com
首页 > 其他好文 > 详细

MapReduce历史服务器

时间:2020-04-18 15:52:26      阅读:80      评论:0      收藏:0      [点我收藏+]

标签:服务   alt   code   hid   job   none   span   map   closed   

作用

保存执行job任务节点的执行日志

将多个节点执行map任务的日志和最终reduce日志聚合在一起

 

在mapred-site.xml中添加配置

技术图片
1 <property>
2     <name>mapreduce.jobhistory.address</name>
3     <value>hostname:10020</value>
4  </property>
5 <property>
6     <name>mapreduce.jobhistory.webapp.address</name>
7     <value>hostname:19888</value>
8  </property>
View Code

在yarn-site.xml中天价配置

技术图片
1 <property>
2     <name>yarn.log-aggregation-enable</name>
3     <value>true</value>
4  </property>
5 <property>
6     <name>yarn.log-aggregation.retain-seconds</name> #日志保存时间
7     <value>604800</value> #默认7天
8  </property>
View Code

 启动历史服务器

mr-jobhistory-daemon.sh start historyserver

必须在yarn集群启动之前启动历史服务器才能够记录日志。

MapReduce历史服务器

标签:服务   alt   code   hid   job   none   span   map   closed   

原文地址:https://www.cnblogs.com/zqzhen/p/12725954.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!