码迷,mamicode.com
首页 > 其他好文 > 详细

【互动问答分享】第12期决胜云计算大数据时代Spark亚太研究院公益大讲堂

时间:2014-09-19 14:04:05      阅读:191      评论:0      收藏:0      [点我收藏+]

标签:style   color   使用   ar   strong   数据   2014   sp   问题   

 

“决胜云计算大数据时代”

Spark亚太研究院100期公益大讲堂 【第12期互动问答分享】

 

Q1:jobserver 企业使用情况如何?

  • 中国有一家视频网站已经使用超过JobServer超过半年的时间;

  • 2013年和2014年Spark Summit均大力推荐使用JobServer;

     

Q2:请问,jobserver是适合企业内部还是供外部客户使用(可能并发、安全有要求),还是两者ok?

  • 目前可见的企业使用案例均是用在企业内部;

  • 如果是企业外部可以作为云服务或者大数据资源池使用;

 

Q3:请问,spark 跑1T数据需要多少内存才能很快跑完

  • 这首先和程序运行时候在每台Worker上使用的内存和CPU有关,提交程序的时候可以手动配置;

  • 其次是和带宽有关系,Shuffle的要尽量减少数据;

  • Driver所在的机器的配置也是极为重要的,一般而言Driver所在的Client的内存和CPU根据实际情况要尽可能的更高的配置,同时,也是至关重要的Driver和Spark集群要在同一个网络环境,应为Driver要不断的task给Worker上的Executor,同时接受Driver的数据;

 

Q4:我目前是解决stackoverflow Error 是用checkPoint解决lineage过长的问题 但是这样会影响效率 怎样在效率和error之间均衡呢?

  • :StackOverflow可以通过配置BlockManager内存管理策略来缓解;

  • 对于checkpoint,要根据实际情况调整,例如对于Spark Streaming 默认是在内存有两份数据副本,此时如果处理能力无法及时消费实时流数据,就会极为容易产生StackOverflow的情况,此时就要根据实际情况调整时间窗口和进行checkpoint;

【互动问答分享】第12期决胜云计算大数据时代Spark亚太研究院公益大讲堂

标签:style   color   使用   ar   strong   数据   2014   sp   问题   

原文地址:http://my.oschina.net/u/1791057/blog/315968

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!