SparkStreaming整合flume 在实际开发中push会丢数据，因为push是由flume将数据发给程序，程序出错，丢失数据。所以不会使用不做讲解，这里讲解poll，拉去flume的数据，保证数据不丢失。 1.首先你得有flume 比如你有：【如果没有请走这篇：搭建flume集群(待定）】 ...
分类：
Web程序 时间：
2019-07-23 00:05:06
阅读次数：
168
转：https://mp.weixin.qq.com/s/e8lsGyl8oVtfg6HhXyIe4A AI 前线导读：“数据智能” (Data Intelligence) 有一个必须且基础的环节，就是数据仓库的建设，同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角 ...
分类：
其他好文 时间：
2019-07-13 20:07:16
阅读次数：
146
插件： 1.video.js videojs-flash.js 可以播放rtmp直播流 2. hls.js 在html页面上可以播放m3u8格式的视频，但在react node项目上不行。 3.尝试用videojs-contrib-hls和@videojs/http-streaming失败。 4.尝 ...
分类：
其他好文 时间：
2019-07-13 09:36:52
阅读次数：
832
从技术栈的角度，我们的选择和大多数互联网公司一致，从早期的 Storm，到 JStorm， Spark Streaming 和最近兴起的 Flink。从发展阶段来说，主要经历了两个阶段，起步阶段和平台化阶段；下面将按照下图中的时间线，介绍实时计算在有赞的发展历程。
分类：
其他好文 时间：
2019-07-12 00:48:10
阅读次数：
141
第 3 章 Dstream 创建 Spark Streaming 原生支持一些不同的数据源。一些“核心”数据源已经被打包到 Spark Streaming 的 Maven 工件中，而其他的一些则可以通过 spark-streaming-kafka 等附加工件获取。 每个接收器都以 Spark 执行器 ...
分类：
其他好文 时间：
2019-07-09 19:30:00
阅读次数：
98
开发语言层面：1、继续巩固java功底，jdk8，9，10，11新特性2、python，go3、jvm 4、多线程编程5、响应式编程6、函数式编程 数据库层面：1、mysql调优，数据库运行原理。2、redis，MongoDB等常用nosql的使用，原理，各自优缺点和应用场景。3、掌握数据库索引相关 ...
分类：
其他好文 时间：
2019-07-07 14:13:24
阅读次数：
121
源码分析的spark版本是1.6。 首先，先看一下 org.apache.spark.streaming.dstream.InputDStream 的 类说明： 翻译如下： 也就是说 spark 1.6 版本的输入流的抽象父类就是 org.apache.spark.streaming.dstream ...
分类：
其他好文 时间：
2019-06-26 00:42:25
阅读次数：
178
先从源码来深入理解一下 DirectKafkaInputDStream 的将 kafka 作为输入流时，如何确保 exactly-once 语义。 对应的源码如下： DirectKafkaInputDStream 的类声明如下： 简言之，Kafka RDD 的一个流，每一个指定的topic 的每一个 ...
分类：
其他好文 时间：
2019-06-26 00:39:53
阅读次数：
134
1. Spark 基础 2. Spark Core 3. Spark SQL 4. Spark Streaming 5. Spark 内核机制 6. Spark 性能调优 1. Spark 基础 1.1 Spark 中的相应组件 1.2 Standalone 模式安装 1.2.1 提交应用程序概述 ...
分类：
其他好文 时间：
2019-06-23 01:11:03
阅读次数：
88
本地开发spark streaming无法消费云主机kafka消息
分类：
其他好文 时间：
2019-06-22 23:50:02
阅读次数：
234
