码迷,mamicode.com
首页 >  
搜索关键字:spark sort-based shuffle内幕彻底解密    ( 7004个结果
【Spark亚太研究院系列丛书】Spark实战高手之路-第2章动手实战Scala第1小节:动手体验Scala(3)
3,Scala中的表达式实战 首先看一下Scala中优雅的条件的表达式: 接下来看一下while循环表达式: 下面看一下for条件表达式: 在for中也可以使用until: 如果想在条件表达式中筛选出1到10中所有偶数,可以采用下面的写法:
分类:其他好文   时间:2014-11-25 22:51:59    阅读次数:122
Spark开发环境
1. Win7下利用Intellij IDEA构建Spark开发环境前提:Intellij IDEA Community 免费版下载(最新版14.0.1),Scala插件下载(最新版scala-intellij-bin-1.1.2.zip)1> 安装Intellij IDEA Scala运行环境ht...
分类:其他好文   时间:2014-11-25 17:47:01    阅读次数:613
基于openfire+smack的Android、Web、PC开发(一)
前言 Java领域的即时通信的解决方案可以考虑openfire+spark+smack。当然也有其他的选择。 Openfire是基于Jabber协议(XMPP)实现的即时通信服务器端版本,目前建议使用3.8.1版本,这个版本是当前最新的版本,而且网...
分类:移动开发   时间:2014-11-25 16:42:51    阅读次数:257
【Spark亚太研究院系列丛书】Spark实战高手之路-第2章动手实战Scala第1小节:动手体验Scala(2)
2,Scala函数特性编程实战当函数不带参数的使用,我们调用的时候可以省略括号:接下来定义一个匿名函数、调用并运行:在Scala总函数式一等公民,所以我们可以把函数付给一个常:另外一个特性是Scala函数编程的柯里化,这个特性允许函数定义的时候有两个括号: 而这种代码在Spark的源码中是非常常见的...
分类:其他好文   时间:2014-11-25 00:09:08    阅读次数:239
【Spark亚太研究院系列丛书】Spark实战高手之路-第2章动手实战Scala第1小节(2)
2,Scala函数特性编程实战 ? 当函数不带参数的使用,我们调用的时候可以省略括号: 接下来定义一个匿名函数、调用并运行: 在Scala总函数式一等公民?,所以我们可以把函数付给一个常: 另外一个特性是Scala函数...
分类:其他好文   时间:2014-11-24 22:47:05    阅读次数:284
【Spark学习】Apache Spark调优
Spark调优本文系根据官方文档翻译而来,转载请注明本文链接 http://www.oschina.net/translate/spark-tuning?print数据序列化内存优化确定内存用量调整数据结构序列化RDD存储垃圾收集调整其他考虑因素并行化水平Reduce任务的内存用量Broadcast...
分类:Web程序   时间:2014-11-24 09:56:40    阅读次数:335
java -jar运行spark程序找不到自己写的类的错误解决
spark程序异常解决...
分类:编程语言   时间:2014-11-23 23:24:10    阅读次数:1353
spark程序异常:Exception in thread "main" java.io.IOException: No FileSystem for scheme: hdfs
spark程序异常:Exception in thread "main" java.io.IOException: No FileSystem for scheme: hdfs...
分类:编程语言   时间:2014-11-23 23:16:01    阅读次数:396
Spark之Scala学习
1. Scala集合学习:http://blog.csdn.net/lyrebing/article/details/203622272.scala实现kmeans算法http://www.thinksaas.cn/group/topic/93852/3. Spark之Scala学习网站http:/...
分类:其他好文   时间:2014-11-23 23:09:07    阅读次数:280
理解Spark的RDD
RDD(Resilient Distributed Datasets)弹性分布式数据集,是在集群应用中分享数据的一种高效,通用,容错的抽象,是Spark提供的最重要的抽象的概念,它是一种有容错机制的特殊集合,可以分布在集群的节点上,以函数式编操作集合的方式,进行各种并行操作。 RDD是只读的,不可变的数据集。RDD也是容错的,假如其中一个RDD坏掉,RDD中有记录之前的依赖关系,依赖关系中记录算...
分类:其他好文   时间:2014-11-23 21:44:22    阅读次数:292
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!