详细内容参照Spark官网：http://spark.apache.org/
Spark相关项目：
Spark SQL 、Spark Streaming 、Machine Learning 、GraphX
1、Spark SQL ：用Spark编写的混合SQL查询，能在分布式数据集中查询结构化数据，使得复杂分析算法的查询更容易。
2、Spark Streaming ：Spark Strea...
分类：
其他好文 时间：
2015-07-14 11:35:22
阅读次数：
257
王家林亲授《DT大数据梦工厂》大数据实战视频“Scala深入浅出实战经典”视频、音频和PPT下载！第51讲：Scala中链式调用风格的实现代码实战及其在Spark编程中的广泛运用百度云：http://pan.baidu.com/s/1eQGqzEa360云盘：http://yunpan.cn/cc....
分类：
其他好文 时间：
2015-07-13 21:56:51
阅读次数：
104
大数据数据处理模型：1.Google的MapReduce是一个简单通用和自动容错的批处理计算模型。但，不适合交互式和流式计算！2.Storm3.Impala4.GraphLab5.SparkSpark: 伯克利大学提出， RDD概念（一种新的抽象的弹性数据集），MapReduce的一种扩展。RDD本...
分类：
其他好文 时间：
2015-07-13 13:50:04
阅读次数：
103
该函数官方的api，说的不是很明白：aggregate(zeroValue, seqOp, combOp)Aggregate the elements of each partition, and then the results for all the partitions, using a gi...
分类：
其他好文 时间：
2015-07-13 13:42:45
阅读次数：
155
废话不说，先来个示例，有个感性认识再介绍。这个示例来自spark自带的example，基本步骤如下：（1）使用以下命令输入流消息：$ nc -lk 9999（2）在一个新的终端中运行NetworkWordCount，统计上面的词语数量并输出：$ bin/run-example streaming.N...
分类：
其他好文 时间：
2015-07-13 13:42:31
阅读次数：
2037
课程主要实用内容：1.spark实验环境的搭建2.4个lab的内容3.常用函数4.变量共享1.spark实验环境的搭建(windows)a. 下载，安装visualbox 管理员身份运行;课程要求最新版4.3.28，如果c中遇到虚拟机打不开的，可以用4.2.12，不影响b. 下载，安装vagrant...
分类：
Web程序 时间：
2015-07-13 13:39:20
阅读次数：
169
Apache Hadoop和Apache Spark 接下来谈多核机器、 PB级数据和任务，这跟所有从twitter提到的Java或重载机器学习算法类似。谈到Hadoop,不得不说这个应用广泛的框架及它的组 件：Hadoop分布式文件系统(HDFS)、资源管...
分类：
其他好文 时间：
2015-07-13 12:29:55
阅读次数：
141
scala> val file = sc.textFile("hdfs://9.125.73.217:9000/user/hadoop/logs") scala> val count = file.flatMap(line => line.split(" ")).map(word => (word,...
分类：
Web程序 时间：
2015-07-12 23:08:03
阅读次数：
274
Delete 操作在数组与对象之间的差异 对数组进行 delete 运算，效果与对对象进行 delete 运算不同；见下: //delete操作在对象和数组之间的不同 //先删除对象的属性 var originObj={name:'Spark',inner:{top:'shirt',short:'T...
分类：
编程语言 时间：
2015-07-12 17:17:49
阅读次数：
144
本质上在Actions算子中通过SparkContext执行提交作业的runJob操作，触发了RDD DAG的执行。
根据Action算子的输出空间将Action算子进行分类：无输出、 HDFS、 Scala集合和数据类型。无输出foreach对RDD中的每个元素都应用f函数操作，不返回RDD和Array，而是返回Uint。
图中，foreach算子通过用户自定义函数对每个数据项进行操作。...
分类：
其他好文 时间：
2015-07-12 11:10:23
阅读次数：
199
