码迷,mamicode.com
首页 >  
搜索关键字:spark jar包依赖 submit    ( 13476个结果
BZOJ 2754: [SCOI2012]喵星球上的点名
2754: [SCOI2012]喵星球上的点名Time Limit: 20 SecMemory Limit: 128 MBSubmit: 649Solved: 305[Submit][Status]Descriptiona180285幸运地被选做了地球到喵星球的留学生。他发现喵星人在上课前的点名现象...
分类:其他好文   时间:2014-07-06 17:29:40    阅读次数:265
Spark分析之Worker
override def preStart() { webUi = new WorkerWebUI(this, workDir, Some(webUiPort)) webUi.bind() //创建并绑定UI registerWithMaster() //注册到Master}d...
分类:其他好文   时间:2014-07-06 12:54:32    阅读次数:220
Spark分析之Master、Worker以及Application三者之间如何建立连接
Master.preStart(){ webUi.bind() context.system.scheduler.schedule(0 millis, WORKER_TIMEOUT millis, self, CheckForWorkerTimeOut) //定时任务检测是否有DEAD WORK.....
分类:移动开发   时间:2014-07-06 12:51:21    阅读次数:249
Learn ZYNQ (9)
创建zybo cluster的spark集群(计算层面): 1.每个节点都是同样的filesystem,mac地址冲突,故: vi ./etc/profile export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/b...
分类:其他好文   时间:2014-07-05 17:29:31    阅读次数:549
Windows下基于eclipse的Spark应用开发环境搭建
原创文章,转载请注明: 转载自www.cnblogs.com/tovin/p/3822985.html一、软件下载 maven下载安装 :http://10.100.209.243/share/soft/apache-maven-3.2.1-bin.zip jdk下载安装: http://...
分类:Windows程序   时间:2014-07-05 17:08:25    阅读次数:362
十分钟了解分布式计算:GraphX
GraphX是Spark中用于图和图并行计算的API,可以认为是GraphLab(C++)和Pregel(C++)在Spark(Scala)上的重写及优化,跟其他分布式图计算框架相比,GraphX最大的贡献是,在Spark之上提供一栈式数据解决方案,可以方便且高效地完成图计算的一整套流水作业。
分类:其他好文   时间:2014-07-05 16:50:56    阅读次数:210
bzoj 1858: [Scoi2010] 序列操作 题解
【原题】 1858: [Scoi2010]序列操作 Time Limit: 10 Sec  Memory Limit: 64 MB Submit: 1031  Solved: 529 [Submit][Status] Description lxhgww最近收到了一个01序列,序列里面包含了n个数,这些数要么是0,要么是1,现在对于这个序列有五种变换操作和询问操作: 0 a...
分类:其他好文   时间:2014-07-04 07:57:33    阅读次数:594
Spark on Yarn部署
Spark on Yarn 集群部署...
分类:其他好文   时间:2014-07-03 18:26:02    阅读次数:264
函数式trie思想 & Bzoj 3261 & 3166 题解
【原题1】 3261: 最大异或和 Time Limit: 10 Sec  Memory Limit: 512 MB Submit: 497  Solved: 215 [Submit][Status] Description       给定一个非负整数序列 {a},初始长度为 N。        有   M个操作,有以下两种操作类型:   1 、A x:添加操...
分类:其他好文   时间:2014-07-03 18:07:00    阅读次数:213
Spark SQL 初探
早在Spark Submit 2013里就有介绍到Spark SQL,不过更多的是介绍Catalyst查询优化框架。经过一年的开发,在今年Spark Submit 2014上,Databricks宣布放弃Shark 的开发,而转投Spark SQL,理由是Shark继承了Hive太多,优化出现了瓶颈,如图:          今天把Spark最新的代码签了下来,测试了一下: 1、编译Spar...
分类:数据库   时间:2014-07-03 16:06:04    阅读次数:534
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!