一。介绍 Spark Streaming最主要的抽象是DStream（Discretized Stream，离散化数据流），表示连续不断的数据流。在内部实现上，Spark Streaming的输入数据按照时间片（如1秒）分成一段一段的DStream，每一段数据转换为Spark中的RDD，并且对DSt ...
分类：
其他好文 时间：
2019-04-13 10:30:28
阅读次数：
116
Spark 一种基于内存的快速、通用、可扩展的大数据分析引擎； 内置模块： Spark Core(封装了rdd、任务调度、内存管理、错误恢复、与存储系统交互)； Spark SQL(处理结构化数据)、Spark Streaming(对实时数据进行流式计算) 、 Spark Mlib（机器学习程序库包 ...
分类：
其他好文 时间：
2019-04-06 00:35:59
阅读次数：
155
一、USB摄像头驱动框架如下所示：1.构造一个usb_driver2.设置 probe: 2.1. 分配video_device:video_device_alloc 2.2. 设置 .fops .ioctl_ops (里面需要设置11项) 如果要用内核提供的缓冲区操作函数，还需要构造一个video ...
分类：
其他好文 时间：
2019-03-31 09:26:25
阅读次数：
209
对Spark、Storm以及Spark Streaming引擎的简明扼要、深入浅出的比較。原文发表于踏得网。Spark基于这种理念，当数据庞大时，把计算过程传递给数据要比把数据传递给计算过程要更富效率。每一个节点存储（或缓存）它的数据集。然后任务被提交给节点。所以这是把过程传递给数据。这和Hadoo ...
分类：
其他好文 时间：
2019-03-28 09:36:20
阅读次数：
149
近期开始接触真正的实时同步，之前接触的SparkStreaming偏重于实时计算，kafka和flume只能算简单的数据同步，如今正式开始做产品化的数据同步项目。特此记录一些知识点。 ...
分类：
其他好文 时间：
2019-03-26 19:35:01
阅读次数：
177
这两天主要是做了中国移动的实时数据分析一个小项目（可以说是demo了），这里记录下来整个过程里面遇到的坑，首先安装好flume，kafka，spark（基于代码本地运行可以不安装），redis，zookeeper 主要是为了熟悉一下整个的一个spark-streaming的一个整个流程，还有就是了解 ...
分类：
移动开发 时间：
2019-03-25 20:27:37
阅读次数：
322
Use the following steps to run a Spark Streaming job on a Kerberos-enabled cluster. Select or create a user account to be used as principal. This shou ...
分类：
其他好文 时间：
2019-03-19 15:23:20
阅读次数：
147
1、 org.apache.poi.xssf.streaming Class SXSSFWorkbook java.lang.Object org.apache.poi.xssf.streaming.SXSSFWorkbook All Implemented Interfaces:java.io.C ...
分类：
编程语言 时间：
2019-03-18 11:47:52
阅读次数：
240
用canal同步MySQL binlog到kafka，消费kafka topic乱码问题解决 ...
分类：
其他好文 时间：
2019-03-13 16:33:49
阅读次数：
164
使用idea 编码 package streaming import java.sql.DriverManager import org.apache.spark.streaming.{Seconds, StreamingContext} import org.apache.spark.{Spark ...
分类：
数据库 时间：
2019-02-15 12:03:34
阅读次数：
339
