DStream是类似于RDD概念，是对数据的抽象封装。它是一序列的RDD，事实上，它大部分的操作都是对RDD支持的操作的封装，不同的是，每次DStream都要遍历它内部所有的RDD执行这些操作。它可以由StreamingContext通过流数据产生或者其他DStream使用map方法产生（与RDD一...
分类：
其他好文 时间：
2015-02-05 14:56:02
阅读次数：
260
StreamingContext 和SparkContex的用途是差不多的，作为spark stream的入口，提供配置、生成DStream等功能。总体来看，spark stream包括如下模块：/** * Main entry point for Spark Streaming functiona...
分类：
其他好文 时间：
2015-02-05 14:54:10
阅读次数：
293
DStreamGraph有点像简洁版的DAG scheduler，负责根据某个时间间隔生成一序列JobSet，以及按照依赖关系序列化。这个类的inputStream和outputStream是最重要的属性。spark stream将动态的输入流与对流的处理通过一个shuffle来连接。前面的（shu...
分类：
其他好文 时间：
2015-02-05 14:53:13
阅读次数：
302
一天一段scala代码（六）
为了更好的驾驭spark，最近在学习scala语言特性，主要看《快学scala》，顺便把一些自己认为有用的代码记下来。
package examples
class Account
{
val id = Account.getUnique()//访问这个类的伴生对象
}
object Account //上面类...
分类：
其他好文 时间：
2015-02-04 21:52:08
阅读次数：
254
1.临时修改主机名 显示主机名： spark@master:~$ hostname master 修改主机名： spark@master:~$ sudo hostname hadoop spark@master :~$ hostname hadoop PS:以上的修改只是临时修改，重启后就恢复原样了。 2.永...
分类：
其他好文 时间：
2015-02-04 20:30:10
阅读次数：
484
本节中所用到的内容是来自搜狗实验室，网址为：http://www.sogou.com/labs/dl/q.html 我们使用的是迷你版本的tar.gz格式的文件，其大小为87K，下载后如下所示： 上传到服务器后，解压并查看： 查看Sogou文件内容：...
ApplicationContext ac1 = new FileSystemXmlApplicationContext("com/spark/system/applicationContext.xml");//如果配置文件放在文件系统的目录下则优先使用该方式
//com/spark/system/applicationContext.xml等价于"file:com/spark/system/a...
分类：
移动开发 时间：
2015-02-04 13:04:21
阅读次数：
227
1.临时修改主机名
显示主机名：
spark@master:~$ hostname
master
修改主机名：
spark@master:~$ sudo hostname hadoop
spark@master:~$ hostname
hadoop
PS:以上的修改只是临时修改，重启后就恢复原样了。
2.永久修改主机名
...
分类：
其他好文 时间：
2015-02-04 11:03:46
阅读次数：
90
摘要：在第九期“七牛开发者最佳实践日”上，陈超就Spark整个生态圈进行了讲解，而刘奇则分享豌豆荚在Redis上的摸索和实践。
1月24日，一场基于Spark和Redis组成的分布式系统实践分享由Spark资深布道者陈超和豌豆荚资深系统架构师刘奇联手打造。
陈超：Spark Ecosystem & Internals
陈超（@CrazyJvm），Spark布道者
...
分类：
其他好文 时间：
2015-02-03 23:03:07
阅读次数：
310
一天一段scala代码（四）
为了更好的驾驭spark，最近在学习scala语言特性，主要看《快学scala》，顺便把一些自己认为有用的代码记下来。
package examples
class Person
{
val publicVal = 1 //自动生成getter
var publicVar = 2 //自动生成...
分类：
其他好文 时间：
2015-02-03 21:28:45
阅读次数：
148
