铭文一级： 核心概念：StreamingContext def this(sparkContext: SparkContext, batchDuration: Duration) = { this(sparkContext, null, batchDuration)} def this(conf: ...
分类：
其他好文 时间：
2018-01-28 23:16:29
阅读次数：
188
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量 ...
分类：
其他好文 时间：
2018-01-28 22:31:43
阅读次数：
196
铭文一级： Spark Streaming is an extension of the core Spark API that enables scalable, high-throughput, fault-tolerant stream processing of live data stre ...
分类：
其他好文 时间：
2018-01-28 11:24:12
阅读次数：
210
铭文一级： 第五章：实战环境搭建 Spark源码编译命令:./dev/make-distribution.sh \--name 2.6.0-cdh5.7.0 \--tgz \-Pyarn -Phadoop-2.6 \-Phive -Phive-thriftserver \-Dhadoop.versi ...
分类：
其他好文 时间：
2018-01-27 19:14:31
阅读次数：
169
铭文一级： 整合Flume和Kafka的综合使用 avro-memory-kafka.conf avro-memory-kafka.sources = avro-sourceavro-memory-kafka.sinks = kafka-sinkavro-memory-kafka.channels ...
分类：
其他好文 时间：
2018-01-26 23:02:49
阅读次数：
206
铭文一级： 单节点单broker的部署及使用 $KAFKA_HOME/config/server.propertiesbroker.id=0listenershost.namelog.dirszookeeper.connect 启动Kafkakafka-server-start.shUSAGE: / ...
分类：
其他好文 时间：
2018-01-26 00:31:28
阅读次数：
186
铭文一级： Flume概述Flume is a distributed, reliable, and available service for efficiently collecting(收集), aggregating(聚合), and moving(移动) large amounts of ...
分类：
其他好文 时间：
2018-01-25 14:19:29
阅读次数：
170
PK2227-Spark Streaming实时流处理项目实战 新年伊始，学习要趁早，点滴记录，学习就是进步！ 随笔背景：在很多时候，很多入门不久的朋友都会问我：我是从其他语言转到程序开发的，有没有一些基础性的资料给我们学习学习呢，你的框架感觉一下太大了，希望有个循序渐进的教程或者视频来学习就好了。 ...
分类：
其他好文 时间：
2018-01-21 17:39:09
阅读次数：
241
SparkStreaming-流处理-规则动态更新-解决方案 ...
分类：
其他好文 时间：
2018-01-11 16:05:28
阅读次数：
1797
Kafka Stream-Spark Streaming-Storm流式计算框架比较选型 Kafka Stream-Spark Streaming-Storm流式计算框架比较选型 elasticsearch-headElasticsearch-sql clientNLPchina/elasticse ...
分类：
其他好文 时间：
2018-01-11 15:23:51
阅读次数：
926
