消息队列高可用 ，`事务 签收 zookeeper+replicated leveldb store`的主从集群 异步发送 同步发送： 1. 明确指定同步发送 2. 未使用事务的前提下，发送持久化消息（会使用同步发送，且会阻塞producer直到broker返回一个确认，表示消息已持久化。会阻塞客户 ...
分类：
其他好文 时间：
2019-08-25 17:51:06
阅读次数：
108
配置 ActiveMQ安装目录的 中的``标签之内。 "配置示例" TCP（默认协议，性能相对可靠） Transmission Control Protocol(TCP) 1. 这是默认的Broker配置,TCP的Client监听端口61616 2. 在网络传输数据前，必须要序列化数据，消息是通过一 ...
分类：
其他好文 时间：
2019-08-25 11:38:49
阅读次数：
67
主备库的切换主要在两种情况下切换，Switchover和Failover，这两种切换都需要手工执行完成。 一是Switchover（计划中的切换，不会丢失数据） 二是Failover（当主库出现故障的时候需要主备库切换角色） 1，Switchover的切换方法 主库端： select switcho ...
分类：
其他好文 时间：
2019-08-24 09:19:11
阅读次数：
144
在安装Kafka集群的时候，碰到这个问题。 我们知道在搭建Kafka集群的时候，我们需要设置broker.id，以作为当前服务器在整个集群的唯一标志。 网上搜查资料是说，log.dirs目录下的meta.properties中配置的broker.id和配置目录下的server.properties中 ...
分类：
Web程序 时间：
2019-08-23 14:58:20
阅读次数：
157
在虚拟机安装centos7，要提前安装好jdk环境 工作流程：在ZooKeeper中管理多个Broker节点，根据 Master选举策略让其中一个 Broker选举为Master（只有Master才具备对外提供服务的能力），剩下Broker为slave。编码时，client端（消费者）通过failo ...
分类：
其他好文 时间：
2019-08-21 13:25:46
阅读次数：
83
1.kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。 1.1 broker：安装了kafka服务的机器称之为broker 1.2 topic（主题）:是用来存放消息， ...
分类：
其他好文 时间：
2019-08-20 10:40:28
阅读次数：
73
在使用了最新版的 kafka-python 1.4.7 在 broker 对 topic 进行默认配置的情况下报出类似错误 这里要申明一点，在 1.4.0 以上的 kafka-python 版本使用了独立的心跳线程去上报心跳。 这里报错大概表达的意思是 无法在默认 300000ms 中完成处理操作。 ...
分类：
编程语言 时间：
2019-08-18 17:14:51
阅读次数：
269
最近开发一cdc应用，为了测试极端情况，需要kafka传递100万条数据过去，1个G左右，由于其他环节限制，不便进行拆包（注：测下来，大包走kafka不一定性能更好，甚至可能更低）。 测试百万以上的变更数据时，报消息超过kafka broker允许的最大值，因此需要修改如下参数，保证包能够正常发送： ...
分类：
其他好文 时间：
2019-08-17 18:07:09
阅读次数：
325
1，dataguard干啥的这玩意儿就是在httpresponse时候，假如含有信用卡、us社保卡、一些敏感卡号信息之类的，F5会做相应保护；假如是block模式，那么response会直接block假如是transparent模式，那么F5会用星号覆盖那串号码2，直接上demo正常请求F5配置重复登陆操作，直接block看日志3，将asm策略改成transparent发现信用卡那一栏变成星号了坑
分类：
其他好文 时间：
2019-08-14 21:38:26
阅读次数：
78
场景说明：当客户端与服务端在不同区域（跨防火墙，地址均做了映射）时，客户端访问kafka时会出现获取不到broker的问题，但是网络之间是互通的。但在跨防火墙下，client请求zookeeper的时候，zookeeper返回给client的brokerIP是kafka的实际地址，而不是映射地址，因此client会访问失败。案例：zk注册的信息解决方式一、
分类：
其他好文 时间：
2019-08-14 12:35:35
阅读次数：
107
