spark-streaming对接kafka有两种方式：1.基于receiver的方式，属于高级API，简单但是效率低，容易丢失数据（可以设置WAL）。它的原理是：receiver从kafka拉取数据存储到executor的内存中，spark-streaming启动job处理数据。偏移量保存在zoo ...
分类：
其他好文 时间：
2020-01-03 14:07:49
阅读次数：
84
kafka出现接收不到filebeat数据，最后发现版本兼容问题 filebeat换成 filebeat-7.4.2-linux-x86_64 kafka是docker-compose启动的，版本是kafka_2.12-2.3.0 filebeat配置 ...
分类：
其他好文 时间：
2020-01-02 20:29:42
阅读次数：
224
Suricata通过filebeat将告警事件送往Kafka,ElasticSearch原创姚贤贤 发布于2019-02-15 16:15:01 阅读数 367 收藏展开Suricata可以通过logstash将告警事件送往Kafka,ElasticSearch,其实filebeat也可以用来代替l ...
分类：
其他好文 时间：
2020-01-02 18:56:28
阅读次数：
130
From官方文档：https://kafka.apache.org/documentation/#majordesignelements 4. DESIGN 4.1 Motivation We designed Kafka to be able to act as a unified platfor ...
分类：
其他好文 时间：
2020-01-02 15:27:20
阅读次数：
112
温馨提示：整个 Kafka Client 专栏基于 kafka 2.3.0 版本。 @ "TOC" 1、KafkaProducer 概述 根据 KafkaProducer 类上的注释上来看 KafkaProducer 具有如下特征： KafkaProducer 是线程安全的，可以被多个线程交叉使用。 ...
分类：
其他好文 时间：
2019-12-31 21:31:49
阅读次数：
72
一 整体介绍 1.1 硬件环境 本文使用三台服务器搭建hadoop集群，使用Centos7.5系统，服务器均有独立ip 1.2 部署的软件 部署服务：namenode（HA）,resourcemanager（HA）,zookeeper，hbase（HA）,spark,kafka,geomesa 版本 ...
分类：
其他好文 时间：
2019-12-31 14:12:21
阅读次数：
94
###kafka伪分布式的安装 注意：kafka_2.11-0.10.0.1.tgz 2.11表示scala版本,0.10.0.1才是kafka版本 ##环境 192.168.50.246 node01 192.168.50.247 node02 192.168.50.248 node03 [roo... ...
分类：
其他好文 时间：
2019-12-31 14:07:29
阅读次数：
97
MySQL Binlog 解析工具 Maxwell 详解 maxwell 简介 Maxwell是一个能实时读取MySQL二进制日志binlog，并生成 JSON 格式的消息，作为生产者发送给 Kafka，Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其 ...
分类：
数据库 时间：
2019-12-31 12:10:30
阅读次数：
318
