本文从数据倾斜的危害、现象、原因等方面，由浅入深阐述Spark数据倾斜及其解决方案。 ...
分类：
其他好文 时间：
2019-12-30 11:24:02
阅读次数：
99
mysql> select count(1) from xcdqm_store_purchase_total_amount_streaming into outfile '/tmp/xcdqm_store_purchase_total_amount_streaming.count'ERROR 129 ...
分类：
数据库 时间：
2019-12-28 16:25:08
阅读次数：
115
细说Spark Streaming和Structured Streaming的区别 ...
分类：
其他好文 时间：
2019-12-22 14:55:01
阅读次数：
83
需要学习的地方：使用logstash获取数据后，然后根据这些数据再从MySQL数据库中进行匹配，增加一些数据到logstash的数据流中，然后输出到es 在IoT物联网时代，我们经常会遇到从传感器采集数据的情况。这些传感器，可以上传物联网数据，比如温度，湿度。通常这些传感器带有自己的ID，但是它并不 ...
分类：
数据库 时间：
2019-12-21 13:36:37
阅读次数：
122
问题现象：现场hik ipc在vlc通过rtsp取流地址（rtsp://admin:xxxxxxxx@44.110.81.45:554/Streaming/Channels/101?transportmode=unicast）取流，发现vlc界面并没有画面，但是看编码统计却是有收到码流包的。而且换另 ...
分类：
其他好文 时间：
2019-12-20 00:59:41
阅读次数：
401
代码： import org.apache.log4j.{Level, Logger}import org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext}object Update ...
分类：
其他好文 时间：
2019-12-11 19:24:49
阅读次数：
105
这一两年Spark技术很火，自己也凑热闹，反复的试验、研究，有痛苦万分也有欣喜若狂，抽空把这些整理成文章共享给大家。这个系列基本上围绕了Spark生态圈进行介绍，从Spark的简介、编译、部署，再到编程模型、运行架构，最后介绍其组件SparkSQL、Spark Streaming、Spark MLi ...
分类：
其他好文 时间：
2019-12-11 09:16:33
阅读次数：
82
基于kuebrnetes v1.17 简单来说，一个完整的streaming请求如下： 客户端 kubectl exec i t ... kube apiserver 向 Kubelet 发送流式请求 /exec/ Kubelet 通过 CRI 接口向 CRI Shim 请求 Exec 的 URL ...
分类：
其他好文 时间：
2019-12-08 12:58:08
阅读次数：
124
<dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.11</artifactId> <version>1.7.2</version> </dependency> <depe ...
分类：
其他好文 时间：
2019-12-06 12:03:37
阅读次数：
268
Spark Streaming应用也是Spark应用，Spark Streaming生成的DStream最终也是会转化成RDD，然后进行RDD的计算，所以Spark Streaming最终的计算是RDD的计算，那么Spark Streaming的原理当然也包含了Spark应用通用的原理。Spark ...
分类：
其他好文 时间：
2019-11-29 18:27:58
阅读次数：
85
