记录spark streaming 中监听器StreamingListener的相关信息 概述 代码记录 示例代码 示例代码应用 ...
分类：
其他好文 时间：
2018-01-31 16:39:53
阅读次数：
141
铭文一级： 第8章 Spark Streaming进阶与案例实战 黑名单过滤 访问日志 ==> DStream20180808,zs20180808,ls20180808,ww ==> (zs: 20180808,zs)(ls: 20180808,ls)(ww: 20180808,ww) 黑名单列表 ...
分类：
其他好文 时间：
2018-01-30 12:11:24
阅读次数：
155
Streaming API参考链接： https://trailhead.salesforce.com/en/modules/api_basics/units/api_basics_streaming https://resources.docs.salesforce.com/210/latest/ ...
铭文一级： 第八章：Spark Streaming进阶与案例实战 updateStateByKey算子需求：统计到目前为止累积出现的单词的个数(需要保持住以前的状态) java.lang.IllegalArgumentException: requirement failed: The checkp ...
分类：
其他好文 时间：
2018-01-29 19:15:15
阅读次数：
206
铭文一级： 核心概念：StreamingContext def this(sparkContext: SparkContext, batchDuration: Duration) = { this(sparkContext, null, batchDuration)} def this(conf: ...
分类：
其他好文 时间：
2018-01-28 23:16:29
阅读次数：
188
铭文一级： Spark Streaming is an extension of the core Spark API that enables scalable, high-throughput, fault-tolerant stream processing of live data stre ...
分类：
其他好文 时间：
2018-01-28 11:24:12
阅读次数：
210
铭文一级： 第五章：实战环境搭建 Spark源码编译命令:./dev/make-distribution.sh \--name 2.6.0-cdh5.7.0 \--tgz \-Pyarn -Phadoop-2.6 \-Phive -Phive-thriftserver \-Dhadoop.versi ...
分类：
其他好文 时间：
2018-01-27 19:14:31
阅读次数：
169
铭文一级： 整合Flume和Kafka的综合使用 avro-memory-kafka.conf avro-memory-kafka.sources = avro-sourceavro-memory-kafka.sinks = kafka-sinkavro-memory-kafka.channels ...
分类：
其他好文 时间：
2018-01-26 23:02:49
阅读次数：
206
铭文一级： 单节点单broker的部署及使用 $KAFKA_HOME/config/server.propertiesbroker.id=0listenershost.namelog.dirszookeeper.connect 启动Kafkakafka-server-start.shUSAGE: / ...
分类：
其他好文 时间：
2018-01-26 00:31:28
阅读次数：
186
本文记录了学习使用Spark Streaming通过JDBC操作数据库的过程，源数据从Kafka中读取。 Kafka从0.10版本提供了一种新的消费者API，和0.8不同，因此Spark Streaming也提供了两种API与之对应，其中spark-streaming-kafka-0-8支持Kafk ...
分类：
数据库 时间：
2018-01-25 15:34:58
阅读次数：
917
