本期内容 : UpdateStateByKey解密 MapWithState解密 Spark Streaming是实现State状态管理因素： 01、 Spark Streaming是按照整个BachDuration划分Job的，每个BachDuration都会产生一个Job，为了符合业务操作的需求 ...
分类：
其他好文 时间：
2016-05-30 14:16:46
阅读次数：
241
本期内容 : Spark Streaming数据清理原理和现象 Spark Streaming数据清理代码解析 Spark Streaming一直在运行的，在计算的过程中会不断的产生RDD ，如每秒钟产生一个BachDuration同时也会产生RDD， 在这个过程中除了基本的RDD外还有累加器、广播 ...
分类：
其他好文 时间：
2016-05-30 07:39:38
阅读次数：
190
本期内容 : Direct Acess Kafka Spark Streaming接收数据现在支持的两种方式： 01、 Receiver的方式来接收数据，及输入数据的控制 02、 No Receiver的方式 以上两种方式中，No Receiver的方式更符合读取、操作数据的思路，Spark作为一个 ...
分类：
其他好文 时间：
2016-05-30 07:39:17
阅读次数：
159
本讲内容：a. Receiver启动的方式设想
b. Receiver启动源码彻底分析注：本讲内容基于Spark 1.6.1版本（在2016年5月来说是Spark最新版本）讲解。上节回顾上一讲中，我们给大家具体分析了RDD的物理生成和逻辑生成过程，彻底明白DStream和RDD之间的关系，及其内部其他有关类的具体依赖等信息：a. DStream是RDD的模板，其内部generatedRDDs 保...
分类：
其他好文 时间：
2016-05-30 06:33:53
阅读次数：
231
什么是state(状态)管理？我们以wordcount为例。每个batchInterval会计算当前batch的单词计数，那如果需要单词计数一直的累加下去，该如何实现呢？SparkStreaming提供了两种方法：updateStateByKey和mapWithState。mapWithState是1.6版本新增功能，目前属于实验阶段。mapWithSta..
分类：
其他好文 时间：
2016-05-29 16:51:04
阅读次数：
250
本期内容：1、updateStateByKey解密2、mapWithState解密背景：整个SparkStreaming是按照BatchDuractions划分Job的。但是很多时候我们需要算过去的一天甚至一周的数据，这个时候不可避免的要进行状态管理，而SparkStreaming每个BatchDuractions都会产生一个Job，Job里面都是RDD..
分类：
其他好文 时间：
2016-05-28 23:30:48
阅读次数：
329
一、Spark Streaming 数据安全性的考虑：Spark Streaming不断的接收数据，并且不断的产生Job，不断的提交Job给集群运行。所以这就涉及到一个非常重要的问题数据安全性。Spark Streaming是基于Spark Core之上的，如果能够确保数据安全可好的话，在Spark... ...
分类：
其他好文 时间：
2016-05-28 23:16:36
阅读次数：
241
上篇文章详细解析了Receiver不断接收数据的过程，在Receiver接收数据的过程中会将数据的元信息发送给ReceiverTracker：本文将详细解析ReceiverTracker的的架构设计和具体实现一、ReceiverTracker的主要功能 ReceiverTracker的主要功能有： ... ...
分类：
其他好文 时间：
2016-05-28 13:04:02
阅读次数：
162
初认HashMap 基于哈希表（即散列表）的Map接口的实现，此实现提供所有可选的映射操作，并允许使用null值和null键。 HashMap继承于AbstractMap，实现了Map、Cloneable、java.io.Serializable接口。且是不同步的，意味着它不是线程安全的。 Hash ...
分类：
编程语言 时间：
2016-05-27 23:48:17
阅读次数：
469
LiblinearTextClassifier我认为LiblinearTextClassifier是整个分类器中最核心的模块，实现了训练，分类等功能。LiblinearTextClassifier实现的是TextClassifier的接口，实现了TextClassifier中定义的
addTrainingText, train, saveModel, loadModel, classify, sa...
分类：
其他好文 时间：
2016-05-27 13:05:46
阅读次数：
236
