Spark API编程动手实战-01-以本地模式进行Spark API实战map、filter和collect
Welcome to
____ __
/ __/__ ___ _____/ /__
_\ \/ _ \/ _ `/ __/ '_/
/___/ .__/\_,_/_/ /_/\_\ version 1.2.0
/_/
Using Scala version 2.10.4 (Java HotSpot(TM) 64-B...
对象一旦创建出来，就不再改变其内容，这样的对象是不变的。这样做可以无需顾虑多线程访问对象时的竞争管理，Java的String就是不变对象的一个例子。基于此，使用Scala创建多线程应用时，可以用不变状态（immutable
state）编写无锁代码，从而写出简洁的多线程代码，而无需顾虑线程间的数据竞争，以及处理加锁和释放带来的梦魇。JVM上的其他语言Groovy、JRuby、Clojure怎么...
分类：
编程语言 时间：
2015-01-21 15:12:56
阅读次数：
272
1、值函数将一个函数赋值给某个变量，此变量就是一个值函数scala>importscala.math._importscala.math._scala>valfun=sqrt_fun:Double=>Double=<function1>scala>fun(25)res19:Double=5.02、匿名函数无名称的函数，即为匿名函数，通常使用在函数的参数中scal..
分类：
其他好文 时间：
2015-01-20 18:36:35
阅读次数：
170
把akka的包加入到一个IDEAproject的类路径中akka自带了一套scala环境，加入jar包的时候注意exclude掉
分类：
其他好文 时间：
2015-01-18 08:16:24
阅读次数：
225
在Windows平台上，若要用scalac一次编译多个文件，请用空格隔开不能通过folder\*一次编译本目录下以及子目录的所有源文件题外话：源文件中出现的文件的相对路径，都是相对scala或java命令发出的路径的在eclipseIDE中，将文件放在项目根目录下可以读到文件，是因为eclipse从项目..
分类：
其他好文 时间：
2015-01-17 23:39:59
阅读次数：
560
---恢复内容开始---1.访问scala的官网这里下载最新版的scala。2.解压缩文件包，可将其移动至/usr/local/share下1mv /download/scalapath /usr/local/share3.修改环境变量，在mac下使用sudo su进入管理员权限，修改配置文件pro...
分类：
系统相关 时间：
2015-01-17 11:12:17
阅读次数：
176
MicrosoftWindows[版本6.1.7601]版权所有(c)2009MicrosoftCorporation。保留所有权利。C:\Users\Bo>scalacUsage:scalac<options><sourcefiles>用法:scalac<选项><源文件们>wherepossiblestandardoptionsinclude:可能的标准选项包括-Dproperty=value..
分类：
其他好文 时间：
2015-01-17 06:34:34
阅读次数：
254
scala是一种将面向对象和函数式编程相结合的语言，在spark中大显身手，在大数据时代下，不会scala都不敢说自己是搞大数据的。前段时间参加BDTC2014大数据会议时，spark的贡献者，陈超老师也极力推荐scala，看来scala在今后的大数据中，将扮演越来越重要的角色。尤其是现在，spar...
分类：
其他好文 时间：
2015-01-15 12:26:17
阅读次数：
246
今天写了一个SparkStreaming的测试代码，简单的测试流式读取HDFS中的文件，然后统计WordCount。代码如下：packagecom.company.scala.lk
importorg.apache.spark.streaming._
/**
*Createdbykaion15/1/14.
*/
objectSparkStreamingTest{
defloadFile():Unit={
valssc=newStrea..
分类：
其他好文 时间：
2015-01-14 18:21:00
阅读次数：
256
