[Spark亚太研究院 决战云计算大数据时代 100期公益大讲堂 互动问答]Q1:我想问,hdfs的namenode挂了,怎么处理? 使用ZooKeeper; 使用Mesos; 使用Yarn;Q2:用python和scala区别大吗? 就代码的风格而言是不大的; 世界上也有很多人使用python开发...
分类:
其他好文 时间:
2014-07-16 19:09:29
阅读次数:
294
本文详细总结Spark分布式集群的安装步骤,帮助想要学习Spark的技术爱好者快速搭建Spark的学习研究环境。...
分类:
其他好文 时间:
2014-07-14 17:17:25
阅读次数:
289
定制spark让sql更简单,上个版本的start.scala用的是HiveContext,这个是SQLContext的,不需编译。...
分类:
数据库 时间:
2014-07-13 20:44:21
阅读次数:
330
通常,一个类对应一个伴生对象,其方法就跟Java中的静态方法一样,举例:BigInt类的BigInt伴生对象有一个生成指定位数的随机素数的方法probablePrime,在REPL中运行下列代码:
object HelloWorld{
def main(args:Array[String]){
for( i
println(BigInt.probab...
分类:
其他好文 时间:
2014-07-11 00:58:23
阅读次数:
286
Scala二十四点游戏(1):表达式计算(一)Scala二十四点游戏(2):表达式计算(二)Scala二十四点游戏(3):表达式计算(三)Scala二十四点游戏(4):算法之一Scala二十四点游戏(5):List简介Scala二十四点游戏(6):实现全排列Scala二十四点游戏(7):穷举可能的表达式Scala二十四点游戏(8): 计算24的算法Scala二十四点游戏(9): 完整的代码和计算结...
分类:
其他好文 时间:
2014-07-08 20:33:44
阅读次数:
218
近期开始学习swift,以后mac和ios开发就指望它,以前学oc半途而废了,主要原因是oc等语法实在能适应,现在有swift了,语法有js,scala,python,c++,oc等语言的影子,重新开始学习吧!目标是今年彻底搞定ios和mac开发...
分类:
其他好文 时间:
2014-07-08 13:37:59
阅读次数:
176
scala中有9大基本类型:Byte 、Short 、Int 、Long、 Char 、String 、Float、 Double 、Boolean与java的基本类型看起来基本是一致的,但实际上除了String,其他的所有的类型,都是使用scala包下的成员。scala虽然是强类型的语言,但是通过...
分类:
其他好文 时间:
2014-07-06 15:08:30
阅读次数:
175
functool.partail 方法可以为一个函数生成偏函数import functoolsdef f(a,b,c,d): print a,b,c,da='a'b='b'f1=functools.partial(f,a,b)f1('a','d')这里函数f有a,b,c,d四个变量,通过fun...
分类:
编程语言 时间:
2014-07-06 14:07:42
阅读次数:
217
Scala是一门运行在jvm上的多范式语言,作为一个java程序员,使用Scala来写写程序,既不用担心会没有java强大的库支持,又能快速地写出简短强悍的代码,除此之外scala还为我们提供了强大的并发支持,Let's love it! 安装 下面来看看如何安装它(在此之前,确保已经安装好了...
分类:
其他好文 时间:
2014-07-05 20:44:21
阅读次数:
223
GraphX是Spark中用于图和图并行计算的API,可以认为是GraphLab(C++)和Pregel(C++)在Spark(Scala)上的重写及优化,跟其他分布式图计算框架相比,GraphX最大的贡献是,在Spark之上提供一栈式数据解决方案,可以方便且高效地完成图计算的一整套流水作业。
分类:
其他好文 时间:
2014-07-05 16:50:56
阅读次数:
210