今天遇到两位三方人员跟我反馈，某微服务的异步接口功能不正常了，由于该异步接口采用Kafka异步消息的方案，对方说没有收到Kafka给消费者的通知，根据此问题，联系了相关人员进行了分析： （一）明确环境是否一致 1、生产者和消费者链接Kafka的地址是否一致，初步发现A方消费者链接Kafka的地址不正 ...
分类：
其他好文 时间：
2020-02-20 15:14:09
阅读次数：
109
一、工作流程 Java版本的工作流程，ProducerRecord是消息对象。 ...
分类：
其他好文 时间：
2020-02-20 10:07:50
阅读次数：
55
一，下载kafka 1,官网地址 http://kafka.apache.org/downloads.html 2,下载 [root@localhost source]# wget http://mirror.bit.edu.cn/apache/kafka/2.4.0/kafka_2.13-2.4. ...
分类：
其他好文 时间：
2020-02-19 20:49:28
阅读次数：
221
一、下载kafka_2.12-2.4.0.tgz并解压至/home/kafka_2.12-2.4.0 二、配置kafka 2.1 创建kafka日志文件夹：/home/kafka_2.12-2.4.0/logs 2.2 创建zookeeper数据目录：/tmp/zookeeper 2.3 配置/ho ...
分类：
编程语言 时间：
2020-02-19 15:05:55
阅读次数：
85
#!/bin/sh#ps-ef|grep$proc_name|grep-vgrep|awk‘{print$2}‘source/etc/profileproc_dir="/data/modules/kafka_2.12-1.1.1"#程序目录proc_name="kafka.Kafka"#进程名file_name="/data/lzm
分类：
系统相关 时间：
2020-02-19 12:53:09
阅读次数：
120
一、相关知识回顾 分布式文件存储 信息源： 购买信息元（对海量数据清洗） 自营提供（限于大公司） 爬虫、抓包 信息格式：文件、文本、sql、json 分布式计算 离线批处理 MapReduce spark 实时数据流 storm spark Sqoop数据迁移：hdfs mysql flume数据上 ...
分类：
其他好文 时间：
2020-02-19 10:28:03
阅读次数：
94
消息队列中间件是分布式系统中重要的组件，主要解决应用解耦，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ。消息中间件到底该如何使用，何时使用这是一个问题，胡乱地使用消息中间件增加了系统的复杂度，如果用不好消息中间件还不如不用。
分类：
其他好文 时间：
2020-02-19 10:20:29
阅读次数：
116
写这篇博客的目的 让更多的人了解 阿里开源的MongoShake可以很好满足mongodb到kafka高性能高可用实时同步需求（项目地址： ，下载地址： ）。至此博客就结束了，你可以愉快地啃这个项目了。还是一起来看一下官方的描述： MongoShake is a universal data rep ...
分类：
数据库 时间：
2020-02-19 05:40:15
阅读次数：
292
1.创建java项目。在pom.xml文件中添加 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>0.10.2.0</version> </depende ...
分类：
编程语言 时间：
2020-02-18 18:57:14
阅读次数：
98
MQ，Message Queue 消息队列。 ActiveMQ Apache开源的消息中间件，老牌消息中间件。 性能一般，一般场景够用了，但高并发时往往应付不了，在中小企业中使用广泛。 有2种集群模式： 一种是主从模式，另一种是分布式的主从模式。 slave 从属、奴隶 Kafka 最初由Linke ...
分类：
其他好文 时间：
2020-02-18 13:28:29
阅读次数：
92
