/** * 模拟数据 数据格式如下： * * 日期 卡口ID 摄像头编号 车牌号 拍摄时间 车速 道路ID 区域ID * date monitor_id camera_id car action_time speed road_id area_id * * monitor_flow_action * ...
分类：
其他好文 时间：
2020-06-09 20:34:37
阅读次数：
71
众所周知，消息队列是应用系统中重要的组件，主要解决应用解耦，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构。目前使用较多的消息队列有 ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ. 但是如果你不想为你的系统引入一个重量级(相对 r ...
分类：
编程语言 时间：
2020-06-09 14:46:58
阅读次数：
86
kafka特点： 1.高吞吐量，支持高并发。支持消息分区，和分布式系统。同时保证每个partition内的消息顺序传输。提供消息持久化能力。 2.Kafka就是一种发布-订阅模式。 消费者可以订阅一个或多个topic，消费者可以消费该topic中所有的数据，同一条数据可以被多个消费者消费，数据被消费 ...
分类：
其他好文 时间：
2020-06-09 12:32:50
阅读次数：
64
kafka启动（需要先启动zk）： bin/zookeeper-server-start.sh -daemon config/zookeeper.properties bin/kafka-server-start.sh -daemon config/server.properties kafka停止 ...
分类：
其他好文 时间：
2020-06-08 12:58:18
阅读次数：
252
1、安装zookeeper 因为zookeeper 与kafka 存在对应的版本，选择不当，将无法使用，所以两者都使用最新版本 下载地址：https://zookeeper.apache.org/releases.html 目录 下载并解压ZooKeeper软件压缩包后，可以看到zk包含以下的文件和 ...
分类：
系统相关 时间：
2020-06-08 12:37:32
阅读次数：
82
我们先回想一下Kafka的日志结构是怎样的？ Kafka 日志对象由多个日志段对象组成，而每个日志段对象会在磁盘上创建一组文件，包括消息日志文件（.log）、位移索引文件（.index）、时间戳索引文件（.timeindex）以及已中止（Aborted）事务的索引文件（.txnindex）。当然，如 ...
分类：
其他好文 时间：
2020-06-08 00:17:30
阅读次数：
63
一、启动zookeeperzkServer.sh start 二、kafka操作//进入目录cd /software/kafka_2.11-2.4.1// (启动kafka)kafka-server-start.sh -daemon config/server.properties//创建分区kaf ...
分类：
其他好文 时间：
2020-06-06 11:04:34
阅读次数：
50
kafka的消费者 @ 内容大纲 深入学习kafka数据消费大致流程 创建并使用消费者 kafka消费者常用配置 1.重要概念 消费者和消费组 消费者负责订阅 Kafka 中的主题（Topic），并且从订阅的主题上拉取消息。 与其他一些消息中间件不同的是：在 Kafka 中还有一层消费组（Consu ...
分类：
其他好文 时间：
2020-06-05 21:25:49
阅读次数：
71
小灰工作3年了，一直在一家初创公司做大数据架构师，最近几次大厂的面试经历都百般不顺，小灰心如死灰，想着如果一直跳槽无望，只能跟着时下最火的地摊儿大军一起去出摊儿谋生了。 被问到了为什么要使用 Kafka，有哪种场景下需要使用 JMS，小灰一脸问号。工作几年来，接触了 Kafka，Elasticsea ...
分类：
其他好文 时间：
2020-06-05 13:10:08
阅读次数：
56
在 Elasticsearch、Kibana、Beats 安装 中讲到推荐架构： 本文基于 Logstash + Beats 读取 Spring Boot 日志 将其改为上述架构 如果没有安装 Kafka 需要首先安装：http://kafka.apache.org/quickstart ，如果需要 ...
分类：
其他好文 时间：
2020-06-05 13:04:50
阅读次数：
48
