铭文一级： 第八章：Spark Streaming进阶与案例实战 updateStateByKey算子需求：统计到目前为止累积出现的单词的个数(需要保持住以前的状态) java.lang.IllegalArgumentException: requirement failed: The checkp ...
分类：
其他好文 时间：
2018-01-29 19:15:15
阅读次数：
206
铭文一级： 核心概念：StreamingContext def this(sparkContext: SparkContext, batchDuration: Duration) = { this(sparkContext, null, batchDuration)} def this(conf: ...
分类：
其他好文 时间：
2018-01-28 23:16:29
阅读次数：
188
接触python不久，也在慕课网学习了一些python相关基础，对于爬虫初步认为是依靠一系列正则获取目标内容数据 于是参照着慕课网上的教学视频，完成了我的第一个python爬虫，鸡冻 >_< ...
分类：
编程语言 时间：
2018-01-28 11:24:56
阅读次数：
87
铭文一级： Spark Streaming is an extension of the core Spark API that enables scalable, high-throughput, fault-tolerant stream processing of live data stre ...
分类：
其他好文 时间：
2018-01-28 11:24:12
阅读次数：
210
铭文一级： 第五章：实战环境搭建 Spark源码编译命令:./dev/make-distribution.sh \--name 2.6.0-cdh5.7.0 \--tgz \-Pyarn -Phadoop-2.6 \-Phive -Phive-thriftserver \-Dhadoop.versi ...
分类：
其他好文 时间：
2018-01-27 19:14:31
阅读次数：
169
铭文一级： 整合Flume和Kafka的综合使用 avro-memory-kafka.conf avro-memory-kafka.sources = avro-sourceavro-memory-kafka.sinks = kafka-sinkavro-memory-kafka.channels ...
分类：
其他好文 时间：
2018-01-26 23:02:49
阅读次数：
206
铭文一级： 单节点单broker的部署及使用 $KAFKA_HOME/config/server.propertiesbroker.id=0listenershost.namelog.dirszookeeper.connect 启动Kafkakafka-server-start.shUSAGE: / ...
分类：
其他好文 时间：
2018-01-26 00:31:28
阅读次数：
186
铭文一级： Flume概述Flume is a distributed, reliable, and available service for efficiently collecting(收集), aggregating(聚合), and moving(移动) large amounts of ...
分类：
其他好文 时间：
2018-01-25 14:19:29
阅读次数：
170
https://www.imooc.com/learn/36 注意: javascript作为一种脚本语言可以放在html页面中任何位置，但是浏览器解释html时是按先后顺序的，所以前面的script就先被执行。比如进行页面显示初始化的js必须放在head里面，因为初始化都要求提前进行（如给页面bo ...
分类：
编程语言 时间：
2018-01-24 14:05:58
阅读次数：
186
CK2255-以慕课网日志分析为例 进入大数据 Spark SQL 的世界 新年伊始，学习要趁早，点滴记录，学习就是进步！ 随笔背景：在很多时候，很多入门不久的朋友都会问我：我是从其他语言转到程序开发的，有没有一些基础性的资料给我们学习学习呢，你的框架感觉一下太大了，希望有个循序渐进的教程或者视频来 ...
分类：
数据库 时间：
2018-01-24 00:41:19
阅读次数：
326
