感谢DT大数据梦工厂支持提供以下内容，DT大数据梦工厂专注于Spark发行版定制。详细信息请查看
联系邮箱18610086859@126.com
电话：18610086859
QQ:1740415547
微信号：18610086859一 为什么从Spark Streaming入手？Spark目前有四个Spark SQL, Spark Streaming, MLlib(machine...
分类：
其他好文 时间：
2016-05-12 22:54:46
阅读次数：
179
昨天我在Kaggle上下载了一份用于手写数字识别的数据集，想通过最近学习到的一些方法来训练一个模型进行手写数字识别。这些数据集是从28×28像素大小的手写数字灰度图像中得来，其中训练数据第一个元素是具体的手写数字，剩下的784个元素是手写数字灰度图像每个像素的灰度值，范围为[0,255]，测试数据则没有训练数据中的第一个元素，只包含784个灰度值。现在我打算使用Spark MLlib中提供的朴素贝叶...
分类：
其他好文 时间：
2016-05-12 11:27:56
阅读次数：
239
本期内容： 1 Exactly once 容错 2 数据输出不重复 一切不能进行实时流处理的数据都是无效的数据。在流处理时代，SparkStreaming有着强大吸引力，而且发展前景广阔，加之Spark的生态系统，Streaming可以方便调用其他的诸如SQL，MLlib等强大框架，它必将一统天下。 ...
分类：
其他好文 时间：
2016-05-08 06:34:48
阅读次数：
196
简介
依赖设置
应用部署
简介在实现基于spark mllib的ALS协同滤波例子：
Spark机器学习_ (南非) 彭特里思 (nick pentreath)(著) 蔡立宇;黄章帅; 周济民(译) 人民邮电出版社 2015-09-01 P72其中使用了jblas包的接口，在我的应用中也使用了这个包的接口
import org.apache.spark.SparkContext
import...
分类：
编程语言 时间：
2016-05-07 08:44:27
阅读次数：
724
Spark 定制版~Spark Streaming（一）本讲内容：a. SparkStreaming在线另类实验
b. 瞬间理解SparkStreaming的本质源码定制为什么从Spark Streaming切入？a. Spark 最初只有Spark Core，通过逐步的发展，扩展出了Spark SQL、Spark Streaming、Spark MLlib(machine learning)...
分类：
其他好文 时间：
2016-05-05 02:05:53
阅读次数：
205
本期内容：1解密SparkStreaming运行机制2解密SparkStreaming架构一切不能进行实时流处理的数据都是无效的数据。在流处理时代，SparkStreaming有着强大吸引力，而且发展前景广阔，加之Spark的生态系统，Streaming可以方便调用其他的诸如SQL，MLlib等强大框架，它必将一统天下。S..
分类：
其他好文 时间：
2016-05-03 20:37:53
阅读次数：
164
从spark框架的角度来说，spark包含了如下图所示的功能:
从最近spark发布的几个版本来看，GraphX一直没有大的变化，MLlib涉及大量的数学，spark sql则是涉及了大量的sql的优化，所以如果要从某一个子框架来彻底研究spark 那么，spark streaming子框架是最好的切入口。因为本身它就很像是spark core 的一个应用程序。2015年是流式处理的...
分类：
其他好文 时间：
2016-05-03 18:35:44
阅读次数：
155
本期内容： 1. Spark Streaming架构 2. Spark Streaming运行机制 Spark大数据分析框架的核心部件： spark Core、spark Streaming流计算、GraphX图计算、MLlib机器学习、Spark SQL、Tachyon文件系统、SparkR计算引 ...
分类：
其他好文 时间：
2016-05-03 17:37:53
阅读次数：
159
本期内容： 1 Spark Streaming另类在线实验 2 瞬间理解Spark Streaming本质 在流处理时代，SparkStreaming有着强大吸引力，而且发展前景广阔，加之Spark的生态系统，Streaming可以方便调用其他的 诸如SQL，MLlib等强大框架，它必将一统天下。这 ...
分类：
其他好文 时间：
2016-05-03 10:28:46
阅读次数：
441
一.源码定制为什么从SparkStreaming切入？Spark一开始并没我们今天看到的SparkSQL,SparkStreaming,MLlib(machinelearning),GraphX(graph)，SparkR等相关内容,只有原始的SparkCore。SparkStreaming本身是SparkCore上的一个框架，透过一个框架的彻底研究肯定可以精通Spark力量的..
分类：
其他好文 时间：
2016-05-03 02:07:56
阅读次数：
212
