SparkStreaming的DStream为我们提供了一个updateStateByKey方法，它的主要功能是可以随着时间的流逝在SparkStreaming中为每一个key维护一份state状态，通过更新函数对该key的状态不断更新。对每一个新的batch而言，SparkStreaming会在使用updateStateByKey的时候为已经存在的ke..
分类：
其他好文 时间：
2016-05-04 06:42:05
阅读次数：
886
IoC容器系列的设计与实现概要 博客介绍了BeanFactory这个容器的基本接口，如getBean(String name)，containsBean(String name)等等，但是这些接口并没有具体的实现，因此给出了XmlBeanFactory容器的实现过程,还用编程的方式使用了DefaultListableBeanFactory这个容器,成功得获得了在BeanDefinitio...
分类：
编程语言 时间：
2016-05-03 07:09:30
阅读次数：
288
本节课分成二部分讲解： 一、Spark Streaming on Polling from Flume实战 二、Spark Streaming on Polling from Flume源码 第一部分： 推模式(Flume push SparkStreaming) VS 拉模式（SparkStrea ...
分类：
Web程序 时间：
2016-04-30 14:15:58
阅读次数：
932
本节课程主要分二个部分： 一、Spark Streaming updateStateByKey案例实战二、Spark Streaming updateStateByKey源码解密 第一部分： updateStateByKey的主要功能是随着时间的流逝，在Spark Streaming中可以为每一个可 ...
分类：
其他好文 时间：
2016-04-30 11:18:21
阅读次数：
210
本期内容：
1. Flume on HDFS案例回顾
2. Flume推送数据到Spark Streaming实战
3. 原理绘图剖析
1. Flume on HDFS案例回顾
上节课要求大家自己安装配置Flume，并且测试数据的传输。我昨天是要求传送的HDFS上。
文件配置：
~/.bashrc:
export FLUME_HOME=/usr/lo...
分类：
Web程序 时间：
2016-04-29 17:54:11
阅读次数：
197
一：Spark集群开发环境准备
启动HDFS，如下图所示：
通过web端查看节点正常启动，如下图所示：
2.启动Spark集群，如下图所示：
通过web端查看集群启动正常，如下图所示：
3.启动start-history-server.sh，如下图所示：
二：HDFS的SparkStreaming案例实战（代码部分）
...
分类：
其他好文 时间：
2016-04-29 17:53:28
阅读次数：
223
一：Spark集群开发环境准备启动HDFS，如下图所示：通过web端查看节点正常启动，如下图所示：2.启动Spark集群，如下图所示：通过web端查看集群启动正常，如下图所示：3.启动start-history-server.sh，如下图所示：二：HDFS的SparkStreaming案例实战（代码部分）packagecom.dt.sp..
分类：
其他好文 时间：
2016-04-28 12:31:55
阅读次数：
253
本期内容：
1. Flume on HDFS案例回顾
2. Flume推送数据到Spark Streaming实战
3. 原理绘图剖析
1. Flume on HDFS案例回顾
上节课要求大家自己安装配置Flume，并且测试数据的传输。我昨天是要求传送的HDFS上。
文件配置：
~/.bashrc:
export FLUME_HOME=/usr/lo...
分类：
Web程序 时间：
2016-04-26 20:07:34
阅读次数：
261
一：Spark集群开发环境准备
启动HDFS，如下图所示：
通过web端查看节点正常启动，如下图所示：
2.启动Spark集群，如下图所示：
通过web端查看集群启动正常，如下图所示：
3.启动start-history-server.sh，如下图所示：
二：HDFS的SparkStreaming案例实战（代码部分）
...
分类：
其他好文 时间：
2016-04-26 20:06:35
阅读次数：
147
本期内容： 1. Flume on HDFS案例回顾 2. Flume推送数据到Spark Streaming实战 3. 原理绘图剖析 1. Flume on HDFS案例回顾 上节课要求大家自己安装配置Flume，并且测试数据的传输。我昨天是要求传送的HDFS上。 文件配置： ~/.bashrc: ...
分类：
Web程序 时间：
2016-04-26 02:04:54
阅读次数：
563
