测试思路：首先，使用上篇文章的程序一发送网络数据；其次，运行spark程序，观察效果。说明：1.这里使用到了更新函数；2.使用检查点来保证状态。sparkStreaming
importorg.apache.log4j.{LoggerLevel}
importorg.apache.spark.streaming.{SecondsStreamingContext}
importorg...
分类：
其他好文 时间：
2015-05-31 18:47:41
阅读次数：
121
测试思路：首先，创建网络数据源数据发送器（程序一）；其次，创建spark接收数据程序（程序二）；接着，将程序一打包，放在服务器上执行。这里有三个参数分别是：所要发送的数据文件，通过哪个端口号发送，每隔多少毫秒发送一次数据；最后，运行spark程序，这里每隔5秒处理一次..
分类：
其他好文 时间：
2015-05-31 18:45:44
阅读次数：
194
在使用sparkMLlib时，有时候需要使用到一些基础的矩阵（向量），例如：全零矩阵，全一矩阵；以及矩阵之间的运算操作。这里整理了一些常用的矩阵操作方法：矩阵：packageutilsimportjava.util.Random/***密集矩阵，用于封装模型参数*/classDenseMatrix(rowNum:Int,columnNum:Int..
分类：
其他好文 时间：
2015-05-31 18:45:34
阅读次数：
125
测试思路：首先，使用网络数据发送程序发送数据；然后，运行spark程序；观察效果。说明：1.这里也需要设置检查点目录2.这里有四个参数：前两个分别是监听的端口和每隔多少毫秒接收一次数据；第三个参数是接收前多少毫秒的数据；（详细请参见window具体含义）第四个参数是每隔多..
分类：
其他好文 时间：
2015-05-31 18:45:23
阅读次数：
115
This is a guest post from our friends in the SSG STO Big Data Technology group at Intel. Join us at the Spark Summit?to hear from Intel and other companies deploying Spark in production. ?Use the...
分类：
移动开发 时间：
2015-05-30 21:17:20
阅读次数：
406
近年来，关于大数据讨论已然是热火朝天，虽不说是家喻户晓，那至少对于业界来说也是引起了轩然大波。作为学生党的我，最近也在研究关于大数据的东东。作为一个技术迷，总是会想尝试一些新鲜的东西。前一段时间学习了Hadoop之后，又想看看Spark是什么东东。那么在这里有必要八卦一下Spark了。
Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台。它立足于内存计算，从多迭代批量处理出发，兼...
分类：
其他好文 时间：
2015-05-30 21:15:29
阅读次数：
15212
Spark On Yarn：从0.6.0版本其，就可以在在Yarn上运行Spark
通过Yarn进行统一的资源管理和调度
进而可以实现不止Spark，多种处理框架并存工作的场景部署Spark On Yarn的方式其实和Standalone是差不多的，区别就是需要在spark-env.sh中添加一些yarn的环境配置，在提交作业的时候会根据这些配置加载yarn的信息，然后将作业提交到yarn上进行...
分类：
其他好文 时间：
2015-05-30 09:25:08
阅读次数：
105
摘要：黄洁就Spark的内存管理、IO提升和计算优化3个方面进行了详细讲解。黄洁表示，对比MapReduce，Spark擅长于复杂的机器学和图的计算、流处理等多种业务场景。
【编者按】干货满满的2015 OpenStack技术大会、2015 Spark技术峰会、2015 Container技术峰会以实力赢得所有观众的认可。在Spark峰会上，英特尔大数据技术中心研发经理黄洁就Spark的...
分类：
其他好文 时间：
2015-05-29 21:48:32
阅读次数：
173
1、MapReduce和Spark比较 目前的大数据处理可以分为以下三个类型： 1、复杂的批量数据处理（batch data processing），通常的时间跨度在数十分钟到数小时之间； 2、基于历史数据的交互式查询（interacti...
分类：
其他好文 时间：
2015-05-29 06:23:40
阅读次数：
319
首先不能忘记： import org.apache.spark.mllib.linalg.{Vectors,Vector} 供测试数据： val?Ar = (?for(i <-?1?to?10?)?yield?(i+1)*(i+4).toDouble ).toArray 一：稠密向量的声明方法有两种： <一>：??...
分类：
其他好文 时间：
2015-05-28 23:19:06
阅读次数：
618
