一、Kafka概述1）消息队列1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息，而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理，即使有多个消息监听者也是如此；2）发布/订阅模式（一对多，数据生产后，推送给所有订阅者）发布订阅模型则是一个基于推送的消息传送模型。发布订
分类：
其他好文 时间：
2020-02-28 09:13:22
阅读次数：
80
zookeeper依赖于java https://baike.baidu.com/item/yum/2835771?fr=aladdin http://yum.baseurl.org/ 去yum官网下载yum, 因为apt-get install 下载不到 update也不行 错误 yum基于pyt ...
分类：
其他好文 时间：
2020-02-27 18:53:24
阅读次数：
52
http://kafka.apache.org/ 国际网站 发布与订阅,处理,存储 http://kafka.apachecn.org/ 中文网站 中文网站中点击[发布与订阅]进去是错误的貌似,因为两个依赖都是clients 而我查了下maven repository站,里面是真的有producer ...
分类：
其他好文 时间：
2020-02-27 14:38:58
阅读次数：
73
1、消息中间件1、简介消息中间件也可以称消息队列，是指用高效可靠的消息传递机制进行与平台无关的数据交流，并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息队列模型，可以在分布式环境下扩展进程的通信。当下主流的消息中间件有RabbitMQ、Kafka、ActiveMQ、RocketMQ等。其能在不同平台之间进行通信，常用来屏蔽各种平台协议之间的特性，实现应用程序之间的协同。优点在于能够在客
分类：
其他好文 时间：
2020-02-26 22:36:44
阅读次数：
70
前几天对接的同事因为没有时间，所以整个上传文件的流程除了对接接口这块，其它的我先开发完成了。今天对接接口，同事说使用接口传输，数据处理时间大约需要7、8s，接口回应时间太长了。然后我提出了异步对接的思路：使用kafka进行传输。 方案1为之前接口传输的方案，方案2为新的异步传输的模式。 方案1：接口 ...
分类：
Web程序 时间：
2020-02-26 20:35:51
阅读次数：
115
Resetting first dirty ofset to log start offset 2971862 since the checkpointed offset 12675089 is invalid reruirement failed 11302544 messages in segm ...
分类：
其他好文 时间：
2020-02-26 19:00:17
阅读次数：
129
1. 多进程与多线程 多进程 ： 每个独立执行的任务就是一个进程 操作系统将时间划分为多个时间片，在每个时间片内将CPU分配给某一个任务，时间片结束，CPU将自动回收，再分配给其他任务 多进程的缺点：比较笨重不好切换 多线程 ： 一个程序可包多个子任务，可串并行 一个子任务可以称为一个线程 在一个线 ...
分类：
编程语言 时间：
2020-02-25 14:42:52
阅读次数：
85
项目总结57：使用阿里云性能测试-电商系统并发测试 第一步：部署测试环境 1-单独部署测试服务，是为了尽量不影响正式环境，并尽量保证硬件和软件上，测试环境和正式环境一致 2-目前一共4台服务器：一台阿里云SLB服务器，一台RDS数据库服务器，两台ECS服务器(tomcat、redis、kafka，m ...
分类：
其他好文 时间：
2020-02-24 15:20:54
阅读次数：
119
综上所述，各种对比之后，我个人倾向于是： 一般的业务系统要引入MQ，最早大家都用ActiveMQ，但是现在确实大家用的不多了，没经过大规模吞吐量场景的验证，社区也不是很活跃，所以大家还是算了吧，我个人不推荐用这个了； 后来大家开始用RabbitMQ，但是确实erlang语言阻止了大量的java工程师 ...
分类：
其他好文 时间：
2020-02-23 20:01:10
阅读次数：
69
能与原理介绍在Kafka官网中这么描述AdminClient：The AdminClient API supports managing and inspecting topics, brokers, acls, and other Kafka objects. 具体的KafkaAdminClien... ...
分类：
编程语言 时间：
2020-02-23 16:36:20
阅读次数：
446
