码迷,mamicode.com
首页 > 其他好文 > 详细

在spark中遇到了奇怪的错误,找到了奇怪的解决方法

时间:2016-03-11 01:14:10      阅读:198      评论:0      收藏:0      [点我收藏+]

标签:

  这两天一直在写spark程序,遇到了一个奇怪的问题。

  问题简单描述如下,有两个RDD,设为rdd_a,rdd_b,当将这两个rdd合并的时候,spark会在运行中卡死。

  解决方式也是奇葩。

  只要在合并这两个rdd之前,分别执行rdd_a.count(),rdd_b.count(),程序就又能够愉快的走下去了。

  参考:

  stackOverFlow

 

在spark中遇到了奇怪的错误,找到了奇怪的解决方法

标签:

原文地址:http://www.cnblogs.com/zhoudayang/p/5263967.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!