Executor.scala一、Executor类首先判断本地性，获取slaves的host name（不是IP或者host: port），匹配运行环境为集群或者本地。如果不是本地执行，需要启动一个handler来监控所有的executor进程，避免阻塞。然后，初始化Spark执行环境。向Spark...
分类：
其他好文 时间：
2015-03-16 12:42:09
阅读次数：
165
上节我们介绍了新的数据类型Option：一个专门对付异常情况出现时可以有一致反应所使用的数据类型。Option可以使编程人员不必理会出现异常后应该如何处理结果，他只是获得了一个None值，但这个None值与他所期待的类型是一致的，他可以继续用处理这种类型数据的方法使用这个结果。不过遗憾的是我们通过None值只能知道某个计算没能得出结果，但到底发生了什么事Option并没有提供任何提示。这样我们也就...
分类：
其他好文 时间：
2015-03-15 12:31:25
阅读次数：
146
创建一个Scala IDEA工程：点击“Next”：点击“Finish”完成工程的创建：修改项目的属性：首先修改Modules选项：在src下创建两个文件夹，并把其属性改为source：再修改Libraries：因为要开发Spark程序，所以需要把Spark的开发需要的jar包导进来：导入包完成后，...
打开IDEA 在src下的main下的scala下右击创建一个scala类 名字为SimpleApp ,内容如下import org.apache.spark.SparkContextimport org.apache.spark.SparkContext._import org.apache.sp...
分类：
Web程序 时间：
2015-03-14 16:54:22
阅读次数：
141
接下来进行打包，使用Project Structure的Artifacts：使用From modules with dependencies：选择Main Class：点击“OK”:把名称改为SparkDemoJar：因为每台机器上都安装了Scala和Spark，所以可以把Scala和Spark相关...
1、下载scala2.11.5版本，下载地址为：http://www.scala-lang.org/download/2.11.5.html2、安装和配置scala：第一步：上传scala安装包 并解压第二步 配置SCALA_HOME环境变量到bash_profile第三步 source 使配置环境...
分类：
其他好文 时间：
2015-03-14 15:07:35
阅读次数：
162
初学Scala
Folder structure以及部分代码
package.scala的代码
package comx
package object mypkg {
def myprint = println("Hello Ji2 in package object")
}
object mypkg2{
def my...
分类：
其他好文 时间：
2015-03-13 18:53:42
阅读次数：
131
Akka 是一个用 Scala 编写的库，用于简化编写容错的、高可伸缩性的 Java 和 Scala 的 Actor 模型应用。它已经成功运用在电信行业。系统几乎不会宕机（高可用性 99.9999999 % 一年只有 31 ms 宕机。
用akka计算pi，计算公式：
这样，我们把这个公式每连续的elements个分成一段，一共分成message段。
然后开worker个acto...
分类：
其他好文 时间：
2015-03-12 22:37:59
阅读次数：
194
给大家推荐一个非常用心的Scala中文社区
ScalaChina地址：http://scalachina.org/
来自社区创建者的《我为什么想做ScalaChina》: http://scalachina.org/topic/54fdede715c4020608a15299
希望对Scala感兴趣或者入迷的朋友能共同努力，多多推广Scala及相关技术！~~...
分类：
其他好文 时间：
2015-03-12 15:08:28
阅读次数：
136
在haskell中，我们有语法糖‘do’帮助表达monad运算。scala中我们也有相应语法糖‘for’。 for表达式会被scala compiler做一些变换，简单的例子如下： for { a foo.flatMap((a) => { bar.map((b) => { a + b })
})
所...
分类：
其他好文 时间：
2015-03-12 14:46:34
阅读次数：
153
