某人，并未提他的名字，是因为看的视频是1年前的，视频里他吹得厉害。我看视频时，查了一下他在视频里说的要做到的东西，结果上网一查，就看到了很多人说他骗了钱后，就不管交了学费的人了。真假无从查起。但是无风不起浪。也真没查到他说的要做出来的东西发布出来。所以这里不那人的名字了。只把他说的知识拿过来，做些笔 ...
分类：
其他好文 时间：
2018-01-08 22:31:31
阅读次数：
224
RTSP简介 RTSP（Real Time Streaming Protocol）是由Real Network和Netscape共同提出的如何有效地在IP网络上传输流媒体数据的应用层协议。RTSP对流媒体提供了诸如暂停，快进等控制，而它本身并不传输数据，RTSP的作用相当于流媒体服务器的远程控制。服 ...
分类：
其他好文 时间：
2018-01-02 20:04:17
阅读次数：
210
Apache Spark 是加州大学伯克利分校的 AMPLabs 开发的开源分布式轻量级通用计算框架。 由于 Spark 基于内存设计，使得它拥有比 Hadoop 更高的性能(极端情况下可以达到 100x)，并且对多语言(Scala、Java、Python)提供支持。 其一栈式设计特点使得我们的学习 ...
分类：
其他好文 时间：
2018-01-01 11:32:04
阅读次数：
241
无论是在spark streaming消费kafka，或是监控kafka的数据时，我们经常会需要知道offset最新情况 kafka数据的topic基于分区，并且通过每个partition的主分区可以获取offset的最新情况 结果输出： ...
分类：
其他好文 时间：
2018-01-01 00:29:59
阅读次数：
709
再有两天就进入2018了,想想还是要准备一下明年的工作方向。回想当初开始学习函数式编程时的主要目的是想设计一套标准API給那些习惯了OOP方式开发商业应用软件的程序员们，使他们能用一种接近传统数据库软件编程的方式来实现多线程，并行运算，分布式的数据处理应用程序，前提是这种编程方式不需要对函数式编程语 ...
分类：
其他好文 时间：
2017-12-31 22:33:49
阅读次数：
235
This lesson takes the concept of render props and migrates it over to streaming props by keeping the same example and simple refactoring the Togglecom ...
分类：
Web程序 时间：
2017-12-28 12:00:49
阅读次数：
167
1.Caused by: java.sql.SQLException: Streaming result set com.mysql.jdbc.RowDataDynamic@160750a6 is still active. No statements may be issued when any ...
分类：
其他好文 时间：
2017-12-22 18:38:46
阅读次数：
276
Spark Streaming中的操作函数讲解 根据根据Spark官方文档中的描述，在Spark Streaming应用中，一个DStream对象可以调用多种操作，主要分为以下几类 Transformations Window Operations Join Operations Output Op ...
分类：
其他好文 时间：
2017-12-22 15:02:16
阅读次数：
195
Streaming Window: 上图意思：每隔2秒统计前3秒的数据 slideDuration: 2 windowDuration: 3 例子: 运行结果： ...
notebook方式运行spark程序是一种比较agile的方式，一方面可以体验像spark shell那样repl的便捷，同时可以借助notebook的作图能力实现快速数据可视化，非常方便快速验证和demo。notebook有两种选择，一种是ipython notebook，主要针对pyspark ...
分类：
其他好文 时间：
2017-12-16 14:52:04
阅读次数：
1934
