创建一个Scala IDEA工程： 点击“Next”： 点击“Finish”完成工程的创建： 修改项目的属性： 首先修改Modules选项： 在src下创建两个文件夹，并把其属性改为source： 再修改Libraries： 因为要开发Spark程序，所...
Spark 优化
· 数据序列化
· 内存优化
o 确定内存使用
o 调整数据结构
o 序列化的RDD存储
o 垃圾回收调整
· 其它注意事项
o 并行粒度
o Reduce任务内存使用
o 广播大的变量
o 数据本地性
· 总结
基于内存的计算（当然也可以用磁盘）是Spark的一个重...
分类：
其他好文 时间：
2015-02-10 13:31:11
阅读次数：
204
创建一个Scala IDEA工程：
点击“Next”：
点击“Finish”完成工程的创建：
修改项目的属性：
首先修改Modules选项：
在src下创建两个文件夹，并把其属性改为source：
再修改Libraries：
因为要开发Spark程序，所以需要把Spark的开发需要的jar包导...
Spark是什么?Spark是Apache的顶级项目。项目背景是 Hadoop 的 MapReduce 太挫太慢了，于是有人就做了Spark，目前Spark声称在内存中比Hadoop快100倍，在磁盘上比Hadoop快10倍。令人震惊啊。...
分类：
其他好文 时间：
2015-02-10 11:20:43
阅读次数：
431
order_created.txt 订单编号 订单创建时间10703007267488 2014-05-01 06:01:12.334+0110101043505096 2014-05-01 07:28:12.342+0110103043509747 2014-05-01 07:50:12....
分类：
数据库 时间：
2015-02-09 15:55:23
阅读次数：
225
Spark提供的JdbcRDD很不好用，没法指定命名参数，而且必须要提供两个Long类型的参数表示分区的范围，如果数据表没有long类型的字段或者不需要条件，那就不能用JdbcRDD了。这里我简单重写了一个GenericJdbcRDD，支持命名参数和分区，仅仅作为参考哦。 项目结构如下： Gener...
分类：
数据库 时间：
2015-02-09 15:38:26
阅读次数：
2215
1、下载scala2.11.5版本，下载地址为：
2、安装和配置scala：...
分类：
其他好文 时间：
2015-02-09 12:54:09
阅读次数：
160
Scala可能是下下一代Java。这么高的评价让人不禁想看看它到底是什么东西。...
分类：
其他好文 时间：
2015-02-06 16:42:13
阅读次数：
137
10000, 'name' => 'spark', 'email' => 'spark@imooc.com', 'sex' => 'man', 'age' => '18');header("content-type:text/html; charset=utf-8");...
分类：
Web程序 时间：
2015-02-06 11:05:36
阅读次数：
180
linux系统下软件安装包类型及安装介绍一、解析Linux应用软件安装包，通常Linux应用软件的安装包有四种：1）tar包，如software-1.2.3-1.tar.gz。他是使用UNIX系统的打包工具tar打包的。2）rpm包，如software-1.2.3-1.i386.rpm。他是Redh...
分类：
系统相关 时间：
2015-02-06 10:52:53
阅读次数：
358
