Maxwell是一个能实时读取MySQL二进制日志binlog，并生成 JSON 格式的消息，作为生产者发送给 Kafka，Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序。我们现在就这个编译一下吧。
分类：
其他好文 时间：
2019-06-27 16:10:32
阅读次数：
154
[root@hdp1 /mnt/software/maxwell-1.19.4]#kafka-topics.sh --zookeeper hdp1,hdp2,hdp3:2181 --create --topic maxwell --partitions 6 --replication-factor ...
分类：
其他好文 时间：
2019-01-18 18:27:48
阅读次数：
2040
【译】RabbitMQ教程一 主要通过Hello Word对RabbitMQ有初步认识 【译】RabbitMQ教程二 工作队列，即一个生产者对多个消费者 循环分发、消息确认、消息持久、公平分发 【译】RabbitMQ教程三 如何同一个消息同时发给多个消费者 开始引入RabbitMQ消息模型中的重要概 ...
分类：
其他好文 时间：
2019-01-13 21:09:06
阅读次数：
188
转自:https://blog.csdn.net/maxwell_nc/article/details/49151005 前几天看了一篇文章（见参考文章），自己动手试了下，发现有些不一样结论，作博客记录下，本文主要研究两个问题： 包装流的close方法是否会自动关闭被包装的流？关闭流方法是否有顺序？ ...
分类：
编程语言 时间：
2018-12-17 17:35:05
阅读次数：
244
一、软件环境：操作系统：CentOS release 6.5 (Final)java版本: jdk1.8zookeeper版本: zookeeper-3.4.11kafka 版本: kafka_2.11-1.1.0.tgzmaxwell版本：maxwell-1.16.0.tar.gz注意 ： 关闭所... ...
分类：
数据库 时间：
2018-10-19 18:19:20
阅读次数：
843
地球科学调查和勘探成图数据处理Geosoft.Oasis.Montaj.v8.4.build.12052015Gedco.Omni.3D.Design.V8.0三维地震勘测设计砌体建筑物地震评估 Amquake v3.8 1CDVista v11.0 Win32-ISO 1DVD（地震数据处理）Ge ...
分类：
系统相关 时间：
2018-08-28 15:32:27
阅读次数：
254
最近用Maxwell解析MySQL的Binlog，发送到Kafka进行处理，测试的时候发现一个问题，就是Kafka的Offset严重倾斜，三个partition，其中一个的offset已经快200万了，另外两个offset才不到两百。Kafka数据倾斜的问题一般是由于生产者使用的Partition接 ...
分类：
其他好文 时间：
2018-08-24 19:23:25
阅读次数：
369
一：在linux环境下安装部署好mysql 开启binlog Vim /etc/my.cnf mysql的binlog格式有3种，为了把binlog解析成json数据格式，要设置binlog的格式为row（binlog有三种格式：Statement、Row以及Mixed） 3重启msyql服务 se ...
分类：
数据库 时间：
2018-07-03 00:18:42
阅读次数：
1711
1、安装python-3.5.2-amd64.exe https://www.python.org/ftp/python/3.5.2/python-3.5.2-amd64.exe2、安装matlab20163、安装vs20154、安装git5、下载源码git clone：git clone http... ...
