访问修饰符 格式：private[x]或protected[x]，x指某个所属包、类或单例对象，表示被修饰的类（或方法、单例对象），在X域中公开，在x域范围内都可以访问； private[包名]:在该包名作用域内，被修饰域都能被访问； private[类名]:在该类的作用域，被修饰域都能被访问； p...
分类：
其他好文 时间：
2015-03-19 23:28:53
阅读次数：
206
看书时发现书中写的不一定是正确的。
eg：
scala> val line = sc.textFile("hdfs://Spark:9000/user/root/README.md")
15/03/19 20:03:04 INFO MemoryStore: ensureFreeSpace(202004) called with curMem=744765, maxMem=280248975
1...
分类：
其他好文 时间：
2015-03-19 20:24:09
阅读次数：
200
scala> val m = List(List("a","b"),List("c","d"))
m: List[List[String]] = List(List(a, b), List(c, d))
scala> m.flatten
res8: List[String] = List(a, b, c, d)
scala> val n = List(List(1,2),List(3,...
分类：
其他好文 时间：
2015-03-19 20:24:00
阅读次数：
824
看到 程序员的自我修养 – SelfUp.cn 里面有Spark MLlib之K-Means聚类算法。
但是是java 语言的，于是我按照例程用Scala写了一个，分享在此。
由于在学习 spark mllib 但是如此详细的资料真的很难找，在此分享。
测试数据
1
2
3
4
5
6
7...
分类：
编程语言 时间：
2015-03-18 18:00:39
阅读次数：
466
scala 是一门 scalable 的语言，扩展性很强。
implicit 是 scala 的一个关键词，当它被用于 class 时，该类将被认为是implicit
class，它可以用来扩展现有类的行为和方法
以下在scala REPL中展示implicit class的作用
scala> "HAL".increment
:8: error: value increment i...
分类：
其他好文 时间：
2015-03-18 15:57:50
阅读次数：
135
import scala.concurrent._import scala.concurrent.duration._import scala.concurrent.ExecutionContext.Implicits.globalimport java.net.URLimport java.net...
分类：
其他好文 时间：
2015-03-16 16:00:35
阅读次数：
124
函数式访问器在haskell里被叫做Lens。在面向对象语言里这个没有什么必要，不过作为练习，我们看如何在scala表示van Laarhoven lens.先给出haskell里的lens类型：type Lens s a = forall f. Functor f => (a -> f a) ->...
分类：
其他好文 时间：
2015-03-16 14:19:57
阅读次数：
146
Executor.scala一、Executor类首先判断本地性，获取slaves的host name（不是IP或者host: port），匹配运行环境为集群或者本地。如果不是本地执行，需要启动一个handler来监控所有的executor进程，避免阻塞。然后，初始化Spark执行环境。向Spark...
分类：
其他好文 时间：
2015-03-16 12:42:09
阅读次数：
165
上节我们介绍了新的数据类型Option：一个专门对付异常情况出现时可以有一致反应所使用的数据类型。Option可以使编程人员不必理会出现异常后应该如何处理结果，他只是获得了一个None值，但这个None值与他所期待的类型是一致的，他可以继续用处理这种类型数据的方法使用这个结果。不过遗憾的是我们通过None值只能知道某个计算没能得出结果，但到底发生了什么事Option并没有提供任何提示。这样我们也就...
分类：
其他好文 时间：
2015-03-15 12:31:25
阅读次数：
146
