D:/oracle/product/10.2.0/client_1/BIN/exp user/user@ORCAL225 file=D:/history/ld_xnsale2.dmp owner=liquidateD:/oracle/product/10.2.0/client_1/BIN/imp u...
分类:
数据库 时间:
2014-11-25 12:10:52
阅读次数:
274
2,Scala函数特性编程实战当函数不带参数的使用,我们调用的时候可以省略括号:接下来定义一个匿名函数、调用并运行:在Scala总函数式一等公民,所以我们可以把函数付给一个常:另外一个特性是Scala函数编程的柯里化,这个特性允许函数定义的时候有两个括号: 而这种代码在Spark的源码中是非常常见的...
分类:
其他好文 时间:
2014-11-25 00:09:08
阅读次数:
239
2,Scala函数特性编程实战 ? 当函数不带参数的使用,我们调用的时候可以省略括号: 接下来定义一个匿名函数、调用并运行: 在Scala总函数式一等公民?,所以我们可以把函数付给一个常: 另外一个特性是Scala函数...
分类:
其他好文 时间:
2014-11-24 22:47:05
阅读次数:
284
/*
*Author : DavidLin
*Date : 2014-11-22pm
*Email : linpeng1577@163.com or linpeng1577@gmail.com
*world : the city of SZ, in China
*Ver : 000.000.001
*history :...
分类:
系统相关 时间:
2014-11-24 20:54:08
阅读次数:
237
/*
*Author : DavidLin
*Date : 2014-11-22pm
*Email : linpeng1577@163.com or linpeng1577@gmail.com
*world : the city of SZ, in China
*Ver : 000.000.001
*history : editor...
分类:
系统相关 时间:
2014-11-24 11:53:07
阅读次数:
251
Spark调优本文系根据官方文档翻译而来,转载请注明本文链接 http://www.oschina.net/translate/spark-tuning?print数据序列化内存优化确定内存用量调整数据结构序列化RDD存储垃圾收集调整其他考虑因素并行化水平Reduce任务的内存用量Broadcast...
分类:
Web程序 时间:
2014-11-24 09:56:40
阅读次数:
335
spark程序异常:Exception in thread "main" java.io.IOException: No FileSystem for scheme: hdfs...
分类:
编程语言 时间:
2014-11-23 23:16:01
阅读次数:
396
1. Scala集合学习:http://blog.csdn.net/lyrebing/article/details/203622272.scala实现kmeans算法http://www.thinksaas.cn/group/topic/93852/3. Spark之Scala学习网站http:/...
分类:
其他好文 时间:
2014-11-23 23:09:07
阅读次数:
280
RDD(Resilient Distributed Datasets)弹性分布式数据集,是在集群应用中分享数据的一种高效,通用,容错的抽象,是Spark提供的最重要的抽象的概念,它是一种有容错机制的特殊集合,可以分布在集群的节点上,以函数式编操作集合的方式,进行各种并行操作。
RDD是只读的,不可变的数据集。RDD也是容错的,假如其中一个RDD坏掉,RDD中有记录之前的依赖关系,依赖关系中记录算...
分类:
其他好文 时间:
2014-11-23 21:44:22
阅读次数:
292