kafka版本：kafka_2.11-0.10.0.0 在kafka服务器命令发送消息，消费者可以接受到， 但是在java客户端向kafka发送消息时消费者接受不到， 在kafka/config/sever.properties把这个注解打开 advertised.listeners=PLAINTE ...
分类：
编程语言 时间：
2020-03-13 01:45:50
阅读次数：
154
#py2.7版本使用kafka，py3.7版本使用kafka-pythonimport datetimeimport jsonimport timefrom kafka import KafkaProducerproducer = KafkaProducer(bootstrap_servers='l ...
分类：
编程语言 时间：
2020-03-11 01:16:42
阅读次数：
192
本次的记录内容包括： 1.Java调用生产者APi流程 2.Kafka生产者Api的使用及说明 3.Kafka消费者Api的使用及说明 4.Kafka消费者自动提交Offset和手动提交Offset 5.自定义生产者的拦截器，分区器 那么接下来我就带大家熟悉以上Kafka的知识说明 1.Java调用 ...
分类：
编程语言 时间：
2020-03-10 15:47:49
阅读次数：
74
前 言 拖了蛮久了，一直说要接着上一部分写设计思路以及代码，因为自己技术底子薄弱，加上人又懒，所以一直没能继续，今天补上设计思路及部分代码，后面有时间我会再补充一些应用性的功能，的确有些忙，希望对大家有用；欢迎大家提意见或者拍砖； 之前，我说了，网上蛮多例子都是基于WordCount或者基于展示内存 ...
分类：
其他好文 时间：
2020-03-09 23:53:34
阅读次数：
88
最近公司项目中做了一个两个oracle数据库数据进行数据实时同步的功能，由于数据量和环境的因素，开发人员采用了kafka做为消息中间件来转发数据，笔者就进行了kafka的学习，记录了下面的文档，望大家多多指教，共同学习进步。 一、 Kafka介绍 Kafka是由Java和Scala编写的是一个分布式 ...
分类：
其他好文 时间：
2020-03-09 20:58:51
阅读次数：
88
承接上文 在上一篇 "文章" 中，我们谈了下Kafka客户端连接后端Broker的认证，导致的无法建立连接的出现原因，了解了为什么无法通过认证，即：客户端未携带与 Zookeeper 中存储的 Broker 连接认证信息 有朋友可能会问了，我知道了这个原理了，知道需要为客户端主机添加 hosts 映 ...
分类：
其他好文 时间：
2020-03-09 13:45:28
阅读次数：
80
1.kafka概述##1.1kafka简介ApacheKafka是一个快速、可扩展的、高吞吐的、可容错的分布式“发布-订阅”消息系统，使用Scala与Java语言编写，能够将消息从一个端点传递到另一个端点，较之传统的消息中间件(例如ActiveMQ、RabbitMQ)，Kafka具有高吞吐量、内置分区、支持消息副本和高容错的特性，非常适合大规模消息处理应用程序。Kafka官网:http://kaf
分类：
其他好文 时间：
2020-03-09 13:12:17
阅读次数：
58
[toc] 1. "Kafka简介" Kafka是一种计算框架，结合了之前的MapReduce批处理和流式计算为一体，可以处理历史数据和实时数据。 流平台具有三个关键功能： 发布和订阅记录流，类似于消息队列或企业消息传递系统。 以容错的持久方式存储记录流。 处理记录流。 Kafka通常用于两大类应用 ...
分类：
其他好文 时间：
2020-03-07 21:04:52
阅读次数：
77
一：推文 Kafka学习之路 （一）Kafka的简介 Kafka学习之路 （二）Kafka的架构 Kafka学习之路 （三）Kafka的高可用 Kafka学习之路 （四）Kafka的安装 Kafka学习之路 （五）Kafka在zookeeper中的存储 二：Kafka架构原理 （一）Kafka应用场 ...
分类：
其他好文 时间：
2020-03-07 16:22:14
阅读次数：
77
引用：https://www.cnblogs.com/adolfmc/p/7345333.html 创建一个消息队列： bin/kafka-topics.sh --create --replication-factor 1 --partitions 1 --topic test --zookeepe ...
分类：
其他好文 时间：
2020-03-07 10:13:38
阅读次数：
73
