kafka这个东西到底是怎么一回事，其实很简单，就是一个消息中间件，可以订阅消息，也可以发布消息 所谓订阅，就是消费 所谓发布，就是生产 在分布式系统中，如果消费方在处理一项任务中需要联系到生产方，那么在调用对方系统的时候，如果对方系统调用失败，或者对方系统崩溃，而我方消费者系统仍需要继续执行的时候 ...
分类：
其他好文 时间：
2020-03-14 16:24:50
阅读次数：
46
[toc] 选择自动提交还是手动提交方式和业务场景相关，可以查看前面的博客，根据原理进行选择。 单线程消费 pom consumerConfig consumer 批量消费 开启批量消费需要3步 1、消费者设置 max.poll.records/ 2、消费者 开启批量消费 factory.setBa ...
分类：
编程语言 时间：
2020-03-13 20:52:10
阅读次数：
82
消费者位移的提交方式以及提交时机需要根据不同的业务场景进行选择，可以看之前的博客kafka消费者相关。 这里只做应用相关，更多的使用场景，该怎么用、何时用要看前面的博客了解原理。 参考博客：https://blog.csdn.net/yy756127197/article/details/10389 ...
分类：
编程语言 时间：
2020-03-13 20:44:37
阅读次数：
98
[toc] 生产者根据不同的业户需求和性能需求，选择合适的发送方式，可以达到最大效率。 具体选择哪一种发送方式，要考虑实际的业务场景。 简单来说： 1、保存用户点击情况、不重要的日志分析等大频率储存，但不担心丢失的情况下使用异步发送 2、订单、支付信息，信息量不一定很多，但是非常重要，就需要采取同步 ...
分类：
编程语言 时间：
2020-03-13 20:43:39
阅读次数：
80
前提 近段时间，业务系统架构基本完备，数据层面的建设比较薄弱，因为笔者目前工作重心在于搭建一个小型的数据平台。优先级比较高的一个任务就是需要近实时同步业务系统的数据（包括保存、更新或者软删除）到一个另一个数据源，持久化之前需要清洗数据并且构建一个相对合理的便于后续业务数据统计、标签系统构建等扩展功能 ...
分类：
数据库 时间：
2020-03-13 01:50:01
阅读次数：
141
kafka版本：kafka_2.11-0.10.0.0 在kafka服务器命令发送消息，消费者可以接受到， 但是在java客户端向kafka发送消息时消费者接受不到， 在kafka/config/sever.properties把这个注解打开 advertised.listeners=PLAINTE ...
分类：
编程语言 时间：
2020-03-13 01:45:50
阅读次数：
154
#py2.7版本使用kafka，py3.7版本使用kafka-pythonimport datetimeimport jsonimport timefrom kafka import KafkaProducerproducer = KafkaProducer(bootstrap_servers='l ...
分类：
编程语言 时间：
2020-03-11 01:16:42
阅读次数：
192
本次的记录内容包括： 1.Java调用生产者APi流程 2.Kafka生产者Api的使用及说明 3.Kafka消费者Api的使用及说明 4.Kafka消费者自动提交Offset和手动提交Offset 5.自定义生产者的拦截器，分区器 那么接下来我就带大家熟悉以上Kafka的知识说明 1.Java调用 ...
分类：
编程语言 时间：
2020-03-10 15:47:49
阅读次数：
74
前 言 拖了蛮久了，一直说要接着上一部分写设计思路以及代码，因为自己技术底子薄弱，加上人又懒，所以一直没能继续，今天补上设计思路及部分代码，后面有时间我会再补充一些应用性的功能，的确有些忙，希望对大家有用；欢迎大家提意见或者拍砖； 之前，我说了，网上蛮多例子都是基于WordCount或者基于展示内存 ...
分类：
其他好文 时间：
2020-03-09 23:53:34
阅读次数：
88
最近公司项目中做了一个两个oracle数据库数据进行数据实时同步的功能，由于数据量和环境的因素，开发人员采用了kafka做为消息中间件来转发数据，笔者就进行了kafka的学习，记录了下面的文档，望大家多多指教，共同学习进步。 一、 Kafka介绍 Kafka是由Java和Scala编写的是一个分布式 ...
分类：
其他好文 时间：
2020-03-09 20:58:51
阅读次数：
88
