关于SQL和Hadoop的实现参考这里 MapReduce编程-自连接
这里用相同的原理,使用spark实现。本人也是刚学Scala,可能写的不好,还请指正。
object SelfUion {
def main(args: Array[String]) {
val conf = new SparkConf().setAppName("SelfUnion")
val sc ...
分类:
其他好文 时间:
2014-11-25 23:51:43
阅读次数:
303
元组可以把固定数量的条目组合在一起以便于作为整体传送。不像数组或列表,元组可以保存不同类型的对象。元组常用来返回方法的多个值。例如,下面的方法找到集合中的最长单词并返回它的索引:scala> def longestWord(words: Array[String]) = { | var wo...
分类:
其他好文 时间:
2014-11-25 23:03:27
阅读次数:
235
3,Scala中的表达式实战 首先看一下Scala中优雅的条件的表达式: 接下来看一下while循环表达式: 下面看一下for条件表达式: 在for中也可以使用until: 如果想在条件表达式中筛选出1到10中所有偶数,可以采用下面的写法:
分类:
其他好文 时间:
2014-11-25 22:51:59
阅读次数:
122
1. Win7下利用Intellij IDEA构建Spark开发环境前提:Intellij IDEA Community 免费版下载(最新版14.0.1),Scala插件下载(最新版scala-intellij-bin-1.1.2.zip)1> 安装Intellij IDEA Scala运行环境ht...
分类:
其他好文 时间:
2014-11-25 17:47:01
阅读次数:
613
在课程里Week3的一节 "Promises, promises, promises"中,Erik Meijer举了一个例子,实现一个函数:def sequence[T](fs: List[Future[T]]): Future[List[T]] = {.....}这个函数实际在Scala libr...
分类:
其他好文 时间:
2014-11-25 15:55:43
阅读次数:
181
Scala创建以及实例化的方式:
//创建一个长度为3的字符串数组,并逐个赋值,然后打印输出结果
val greetStrings = new Array[String](3)
greetStrings(0)="Hello"
greetStrings(1)=","
greetStrings(2)="world\n"
for(i <- 0 to 2){
print(greetStrings(i)...
分类:
编程语言 时间:
2014-11-25 12:55:03
阅读次数:
232
参考文:http://blog.csdn.net/silentbalanceyh/article/details/4440628对话式运行代码 在cmd中输入scala,进入scala解释器。其为scala安装目录下的bin目录下的一个批处理文件,文件名:scala.bat。 cmd中显...
分类:
其他好文 时间:
2014-11-25 07:03:18
阅读次数:
850
2,Scala函数特性编程实战当函数不带参数的使用,我们调用的时候可以省略括号:接下来定义一个匿名函数、调用并运行:在Scala总函数式一等公民,所以我们可以把函数付给一个常:另外一个特性是Scala函数编程的柯里化,这个特性允许函数定义的时候有两个括号: 而这种代码在Spark的源码中是非常常见的...
分类:
其他好文 时间:
2014-11-25 00:09:08
阅读次数:
239
2,Scala函数特性编程实战 ? 当函数不带参数的使用,我们调用的时候可以省略括号: 接下来定义一个匿名函数、调用并运行: 在Scala总函数式一等公民?,所以我们可以把函数付给一个常: 另外一个特性是Scala函数...
分类:
其他好文 时间:
2014-11-24 22:47:05
阅读次数:
284
可变(mutable)集合与不可变(immutable)集合、初始化集合
分类:
其他好文 时间:
2014-11-24 17:07:47
阅读次数:
163