码迷,mamicode.com
首页 > 其他好文 > 详细

Spark程序提交到Yarn集群时所遇异常

时间:2014-12-01 12:48:27      阅读:304      评论:0      收藏:0      [点我收藏+]

标签:blog   http   io   ar   os   sp   java   on   div   

Exception 1:当我们将任务提交给Spark Yarn集群时,大多会出现以下异常,如下:

14/08/09 11:45:32 WARN component.AbstractLifeCycle: FAILED SelectChannelConnector@0.0.0.0:4040: java.net.BindException: Address already in use
java.net.BindException: Address already in use
        at sun.nio.ch.Net.bind0(Native Method)
        at sun.nio.ch.Net.bind(Net.java:444)
        at sun.nio.ch.Net.bind(Net.java:436)

Reason:端口被占用(In fact, 集群试图选择另外一个端口,所以该异常无大碍,Just Warning级别)

Solution: http://blog.csdn.net/sunflower_cao/article/details/37655873

 

Exception 2:

WARNYarnClientClusterScheduler: Initial job has not accepted any resources;check your cluster UI to ensure that workers are registered and havesufficient memory

Reason:提交任务的节点不能和spark工作节点交互,因为提交完任务后提交任务节点上会起一个进程,展示任务进度,大多端口为4044,工作节点需要反馈进度给该端口,所以如果主机名或者IP在hosts中配置不正确,就会报上述error

 

Spark程序提交到Yarn集群时所遇异常

标签:blog   http   io   ar   os   sp   java   on   div   

原文地址:http://www.cnblogs.com/likai198981/p/4134587.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!