一、环境概述:192.168.1.2master192.168.1.3worker192.168.1.4worker二、Scala环境设置[root@master~]#tarzxvfscala-2.10.4.tgz-C/home/hadoop/
[root@master~]#cd/home/hadoop/
[root@masterhadoop]#ln-sscala-2.10.4scala
[root@master~]#chown-Rhadoop.hadoop/home/hadoop/..
分类:
其他好文 时间:
2015-03-21 21:28:55
阅读次数:
171
1、介绍Java中的atomic2、介绍volatile关键字3、数据库四范式4、数据库连接池5、Java中的concurrent包,了解吗?6、除了Scala语言适合高并发,还有哪些语言或者工具适合高并发?(因为个人懂点Scala,才问的,正常不会问)7、int和long分别应用在什么情况下?8、TCP和UDP的主要区别9、介绍Spring的IOC10、介绍Hibernate中的Session11...
分类:
编程语言 时间:
2015-03-21 17:09:46
阅读次数:
989
访问修饰符 格式:private[x]或protected[x],x指某个所属包、类或单例对象,表示被修饰的类(或方法、单例对象),在X域中公开,在x域范围内都可以访问; private[包名]:在该包名作用域内,被修饰域都能被访问; private[类名]:在该类的作用域,被修饰域都能被访问; p...
分类:
其他好文 时间:
2015-03-19 23:28:53
阅读次数:
206
看书时发现书中写的不一定是正确的。
eg:
scala> val line = sc.textFile("hdfs://Spark:9000/user/root/README.md")
15/03/19 20:03:04 INFO MemoryStore: ensureFreeSpace(202004) called with curMem=744765, maxMem=280248975
1...
分类:
其他好文 时间:
2015-03-19 20:24:09
阅读次数:
200
scala> val m = List(List("a","b"),List("c","d"))
m: List[List[String]] = List(List(a, b), List(c, d))
scala> m.flatten
res8: List[String] = List(a, b, c, d)
scala> val n = List(List(1,2),List(3,...
分类:
其他好文 时间:
2015-03-19 20:24:00
阅读次数:
824
看到 程序员的自我修养 – SelfUp.cn 里面有Spark MLlib之K-Means聚类算法。
但是是java 语言的,于是我按照例程用Scala写了一个,分享在此。
由于在学习 spark mllib 但是如此详细的资料真的很难找,在此分享。
测试数据
1
2
3
4
5
6
7...
分类:
编程语言 时间:
2015-03-18 18:00:39
阅读次数:
466
scala 是一门 scalable 的语言,扩展性很强。
implicit 是 scala 的一个关键词,当它被用于 class 时,该类将被认为是implicit
class,它可以用来扩展现有类的行为和方法
以下在scala REPL中展示implicit class的作用
scala> "HAL".increment
:8: error: value increment i...
分类:
其他好文 时间:
2015-03-18 15:57:50
阅读次数:
135
import scala.concurrent._import scala.concurrent.duration._import scala.concurrent.ExecutionContext.Implicits.globalimport java.net.URLimport java.net...
分类:
其他好文 时间:
2015-03-16 16:00:35
阅读次数:
124
函数式访问器在haskell里被叫做Lens。在面向对象语言里这个没有什么必要,不过作为练习,我们看如何在scala表示van Laarhoven lens.先给出haskell里的lens类型:type Lens s a = forall f. Functor f => (a -> f a) ->...
分类:
其他好文 时间:
2015-03-16 14:19:57
阅读次数:
146