码迷,mamicode.com
首页 >  
搜索关键字:spark history    ( 9960个结果
spark on yarn提交任务时一直显示ACCEPTED
spark on yarn提交任务时一直显示ACCEPTED,过一个小时后就会出现任务失败,但在提交时shell终端显示的日志并没有报错,logs文件夹中也没有日志产生。注:spark?on?yarn是不需要启动spark集群的,只需要在提交任...
分类:其他好文   时间:2014-09-04 19:36:00    阅读次数:562
【互动问答分享】第10期决胜云计算大数据时代Spark亚太研究院公益大讲堂
“决胜云计算大数据时代” Spark亚太研究院100期公益大讲堂 【第10期互动问答分享】 ? Q1:Spark on Yarn的运行方式是什么? Spark on Yarn的运行方式有两种:Client和Cluster模式 Client模式如下所示: Cluste...
分类:其他好文   时间:2014-09-04 19:35:40    阅读次数:326
Spark、Shark集群安装部署及遇到的问题解决
1.部署环境OS:Red Hat Enterprise Linux Server release 6.4 (Santiago)Hadoop:Hadoop 2.4.1Hive:0.11.0JDK:1.7.0_60Python:2.6.6(spark集群需要python2.6以上,否则无法在spark集...
分类:其他好文   时间:2014-09-04 18:59:49    阅读次数:267
Find the Top 10 commands in your linux box!
history | awk '{print $2;}' | grep -v '^./' | sort -d | uniq -c | sort -nr | head -n 10grep, '-v' means invert-match,'^' specify the begin of a line.s...
分类:系统相关   时间:2014-09-04 18:40:19    阅读次数:231
怎么在Ubuntu平台上面读取电话及短信记录(History API)
bzr branch lp:~liu-xiao-guo/debiantrial/history...
分类:Windows程序   时间:2014-09-04 13:26:39    阅读次数:340
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第三步)(1)
第一步:Spark集群需要的软件; ?在1、2讲的从零起步构建好的Hadoop集群的基础上构建Spark集群,我们这里采用2014年5月30日发布的Spark 1.0.0版本,也就是Spark的最新版本,要想基于Spark 1.0.0构建Spark集群,需...
分类:其他好文   时间:2014-09-04 12:01:39    阅读次数:310
R12 付款过程请求-功能和技术信息 (文档 ID 1537521.1)
In this Document   Abstract   History   Details   提交单一付款处理请求   付款单据选择-应付账款   建立付款-付款   格式化付款-付款 ...
分类:其他好文   时间:2014-09-04 10:32:29    阅读次数:215
html历史
方法一:location.hash = 'abc'window.onhashchange = function(){}location.hash 返回结果 #abc => location.hash.substring(1) abc方法二:存历史:history.pushstate(数据,标题,网址...
分类:Web程序   时间:2014-09-03 22:36:17    阅读次数:278
spark参数调优
spark对内存有一定的要求,内存不够会因为gc而oom。 1、默认情况下,一个worker的内存0.6用于cache,0.4用于task,可以通过设置该值提高每个worker的cache大小 spark.storage.memoryFraction   0.8 2、设置并行task数,提高reducer效率 spark.default.parallelism     4 这个在1....
分类:其他好文   时间:2014-09-03 21:21:47    阅读次数:338
Intellij编译Spark on Yarn源码注意事项
默认是1.0.4,需设置指定Hadoop版本: 在${SPARK_HOME}/pom.xml中的yarn改为 yarn 2 2.2.0 2.2.0 2.5.0 yarn 导入时候选yarn...
分类:其他好文   时间:2014-09-03 21:19:57    阅读次数:330
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!