、下载镜像这里使用了wurstmeister/kafka和wurstmeister/zookeeper这两个版本的镜像 docker pull wurstmeister/zookeeperdocker pull wurstmeister/kafka在命令中运行docker images验证两个镜像已 ...
分类：
其他好文 时间：
2019-11-29 23:54:45
阅读次数：
161
在消费kafka的消息时,数据的变动是最重要的,要确保没有数据丢失,所以kafka的监控很重要.kafka的监控工具主流的有三种 1、Kafka Web Conslole 2、Kafka Manager 3、KafkaOffsetMonitor 4、kafka Eagle 以下主要介绍kafka E ...
分类：
其他好文 时间：
2019-11-29 21:06:40
阅读次数：
144
kafka 生产者、消费者与分区的关系 背景 最近和海康整数据对接, 需要将海康产生的结构化数据拿过来做二次识别. 基本的流程: 海康大数据 kafka server 平台 Kafka 的 topic 正常过车 topic： BAYONET_VEHICLEPASS 违法过车 topic： BAYON ...
分类：
其他好文 时间：
2019-11-29 18:25:16
阅读次数：
73
Kafka 自定义指定消息partition策略规则及DefaultPartitioner源码分析 一.概述 kafka默认使用DefaultPartitioner类作为默认的partition策略规则,具体默认设置是在ProducerConfig类中(如下图) 二.DefaultPartition ...
分类：
其他好文 时间：
2019-11-29 13:17:10
阅读次数：
137
filebeat+nginx 绘图时url不能模糊搜索的问题 1.修改之前nginx 日志配置为 这里$request_time和$upstream_response_time打上引号是因为，如果取不到这个值，这个值就位 - ，logstash会报错，所以就由字符串再转为float类型 log_fo ...
分类：
Web程序 时间：
2019-11-29 11:16:25
阅读次数：
119
[TOC] 第一节 Kafka 集群 承前 如果你是开发, 对搭建kafka集群没什么兴趣, 可以跳过这一章, 直接看明天的内容. 如果你觉得多了解一点没有什么坏处的话, 请继续看下去. 提醒一下, 本章图多 Kafka 集群搭建 概述 kafka集群的搭建还是比较繁琐的, 虽然只是下载文件,修改配 ...
分类：
其他好文 时间：
2019-11-28 19:24:22
阅读次数：
92
背景： 由于需要对大促期间的曝光日志进行降级，需要验证保留下来的70多个pageid的页面是否生效。 如果使用常规手段，如果想要全量验证，需要使用kafka收发数据的脚本跑70+遍，想想就是一件很繁重很蠢的工作。 这个时候想到使用python进行辅助验证，即可以进行全量校验，又能节省时间。 思路： ...
分类：
其他好文 时间：
2019-11-28 18:51:55
阅读次数：
57
本文代码使用的是Spring Boot 2.1.8.RELEASE 版本 1、 pom.xml文件，引入依赖 采用Kafka提供的StringSerializer和StringDeserializer进行序列化和反序列化 2、在application-dev.properties配置生产者 3、生产 ...
分类：
编程语言 时间：
2019-11-28 16:27:49
阅读次数：
102
初识 Kafka 什么是 Kafka Kafka 是由 公司开发的，它是一个分布式的，支持多分区、多副本，基于 Zookeeper 的分布式消息流平台，它同时也是一款开源的 基于发布订阅模式的消息引擎系统 。 Kafka 的基本术语 消息：Kafka 中的数据单元被称为 ，也被称为记录，可以把它看作 ...
分类：
其他好文 时间：
2019-11-28 13:00:01
阅读次数：
54
docker快速安装kafka，zookeeper ，体验spring-boot-demo-mq-kafkaLinux先开放以下端口：2181 ，9092 搜索镜像 zookeeper ，kafkahttps://hub.docker.com/ 1.https://hub.docker.com/_/ ...
分类：
编程语言 时间：
2019-11-27 17:38:18
阅读次数：
65
