/** *重置kafka消费进度 *参数中需要指定kafka集群中一台broker地址，要重置的topic名称，消费组，以及partition个数 */public static void seekLatest(String broker, String topic, String group, i ...
分类：
其他好文 时间：
2020-04-03 18:28:01
阅读次数：
109
前言最近在用kafka做项目，所以本地搭建下kafka，但是又嫌java安装和安装kafka太麻烦，所以想到用docker来部署。镜像wurstmeister/kafka维护较为频繁的一个Kafka镜像。只包含了Kafka，因此需要另行提供ZooKeeper，推荐使用同一作者提交的wurstmeister/zookeeper。现在已经提供较新的1.1.0版本。搭建开发环境1ZooKeeper&am
分类：
其他好文 时间：
2020-04-03 18:14:05
阅读次数：
57
kafka是可以保证同一个分区里面的消息写入是有序的。也就是说，如果生产者按照一定的顺序发送消息，broker就会按照这个消息顺序来将他们写入分区，消费者也会按照一定的顺序将他们写入分区，消费者也会按照同样的顺序读取它们。 在某些情况下，数据的顺序是很重要的，例如，在一个账户存入100元再取出来 和 ...
分类：
其他好文 时间：
2020-04-03 15:05:39
阅读次数：
225
Flume定义： Flume是Cloudera提供的一个高可用的、高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构， 灵活简单。 为什么选用Flume 主要作用： 实时读取服务器本地磁盘的数据， 将数据写入到HDFS Flume的组织架构 1、最简单的组织架构 2、Flume ...
分类：
Web程序 时间：
2020-04-02 22:33:57
阅读次数：
107
感谢参考原文-http://bjbsair.com/2020-04-01/tech-info/18512.html目标：使用Kafka和使用Redis的服务层编写数据管道。先决条件请根据您的操作系统安装以下组件：·Kafka·Zookeeper·Redis·Java目标观众本文针对的是正在构建第一个数据管道的工程师。但是，已建立数据管道的工程师可以快速浏览它。期待什么关于如何建立数据管道的概念证明
分类：
其他好文 时间：
2020-04-02 17:53:02
阅读次数：
59
mac python3.7消费kafka数据时报错如下： kafka.errors.UnsupportedCodecError: UnsupportedCodecError: Libraries for snappy compression codec not found 解决方案： 1. brew ...
分类：
移动开发 时间：
2020-04-02 14:25:37
阅读次数：
246
通过命令行工具(kafka-console-producer.sh和kafka-console-consumer.sh)是能够相互通信的，producer发布的信息consumer能够接收到。 但是java通过kafka-client的API写的代码始终不能跟kafka通信：java produce ...
分类：
编程语言 时间：
2020-04-02 10:24:08
阅读次数：
530
1、 kafka的介绍 kafka是linkedin公司开源捐献给apache的一个消息队列的框架，底层语言用的是scala kafka是一个分布式的消息队列，提供了类似于JMS的特性，不是标准的JMS的实现，也有生产者，消费者，topic等组件 2、 消息队列的作用 解耦，异步，并行 3、 kak ...
分类：
其他好文 时间：
2020-04-01 20:59:46
阅读次数：
93
复制-Kafka的核心复制功能是Kafka架构的核心。在Kafka的文档里,Kafka把自己描述成“一个分布式的、可分区的、可复制的提交日志服务”。复制之所以这么关键,是因为它可以在个别节点失效时仍能保证Kafka的可用性和持久性。Kafka使用主题来组织数据,每个主题被分为若干个分区,每个分区有多 ...
分类：
其他好文 时间：
2020-04-01 16:20:42
阅读次数：
64
一、访问流追踪 log-trace： 减少代码级别插入日志 详细调用访问链路 唯一请求id,方便搜索 二、日志实时展示 1. 日志收集 使用队列，采用发布订阅模式 Kafka/RabbitMq: 使用logback 配置appender AMQP 消费端直接读取 支持ELK Mqtt: IBM协议， ...
分类：
其他好文 时间：
2020-04-01 14:55:28
阅读次数：
65
