第一步：Spark集群需要的软件； ?在1、2讲的从零起步构建好的Hadoop集群的基础上构建Spark集群，我们这里采用2014年5月30日发布的Spark 1.0.0版本，也就是Spark的最新版本，要想基于Spark 1.0.0构建Spark集群，需...
分类：
其他好文 时间：
2014-09-04 12:01:39
阅读次数：
310
spark对内存有一定的要求，内存不够会因为gc而oom。
1、默认情况下，一个worker的内存0.6用于cache，0.4用于task，可以通过设置该值提高每个worker的cache大小
spark.storage.memoryFraction 0.8
2、设置并行task数，提高reducer效率
spark.default.parallelism 4
这个在1....
分类：
其他好文 时间：
2014-09-03 21:21:47
阅读次数：
338
默认是1.0.4，需设置指定Hadoop版本：
在${SPARK_HOME}/pom.xml中的yarn改为
yarn
2
2.2.0
2.2.0
2.5.0
yarn
导入时候选yarn...
分类：
其他好文 时间：
2014-09-03 21:19:57
阅读次数：
330
scala中的所有操作符都是方法的调用，例如：1+2，等效于(1).+(2) 0 to 5，等效于(0).to(5)，x(1)="scala"，等效于(x).update(1,"scala")，x(1)等效于(x).apply(1) scala通过定义伴生对象，分离静态成员，类似于j...
分类：
编程语言 时间：
2014-09-03 13:24:46
阅读次数：
393
在Scala中函数和方法有什么区别 方法可以作为一个表达式的一部分出现（调用函数并传参），但是方法（带参方法）不能作为最终的表达式， 但是函数可以作为最终的表达式出现： scala> //定义一个方法scala> def m(x:Int) = 2*xm: (x: Int)Intscala> //定义...
分类：
其他好文 时间：
2014-09-03 11:04:16
阅读次数：
270
本文讲述如何使用datastax提供的spark-cassandra-connector来连接cassandra进行数据读取和更新。
分类：
其他好文 时间：
2014-09-02 22:35:15
阅读次数：
343
scala支持关联映射，如可以用(key -> value)表示一个键值对 scala中的所有类型都是对象，包括基本数据类型 scala中的case语句用来判断接收的消息，比java中的switch...case...更专注 receive{????case msg =>...
分类：
编程语言 时间：
2014-09-02 20:04:25
阅读次数：
324
首先修改Master的core-site.xml文件，此时的文件内容是：我们把“localhost”域名修改为“Master”:同样的操作分别打开Slave1和Slave2节点core-site.xml，把“localhost”域名修改为“Master”。其次修改Master、Slave1、Slav...
分类：
其他好文 时间：
2014-09-02 13:48:14
阅读次数：
131
首先修改Master的core-site.xml文件，此时的文件内容是： 我们把“localhost”域名修改为“Master”: 同样的操作分别打开Slave1和Slave2节点core-site.xml，把“localhost”域名修改为“Master”。 其次修改Maste...
分类：
其他好文 时间：
2014-09-02 12:41:35
阅读次数：
225
Scala语言中的隐式转换是一个十分强大的语言特性，主要可以起到两个作用：一.自动进行某些数据类型的隐式转换 String类型是不能自动转换为Int类型的，所以当给一个Int类型的变量或常量赋予String类型的值时编译器将报错。所以，一下语句是错误的。 valx:Int="100" 如果...
分类：
其他好文 时间：
2014-09-01 17:26:03
阅读次数：
233
