0、题记实际业务场景中，会遇到基础数据存在Mysql中，实时写入数据量比较大的情景。迁移至kafka是一种比较好的业务选型方案。而mysql写入kafka的选型方案有：方案一：logstash_output_kafka插件。方案二：kafka_connector。方案三：debezium插件。方案四：flume。方案五：其他类似方案。其中：debezium和flume是基于mysqlbinlog实
分类：
数据库 时间：
2020-12-15 12:34:47
阅读次数：
9
题记来自Elasticsearch中文社区的问题——MySQL中表无唯一递增字段，也无唯一递增时间字段，该怎么使用logstash实现MySQL实时增量导数据到es中？logstash和kafka_connector都仅支持基于自增id或者时间戳更新的方式增量同步数据。回到问题本身：如果库表里没有相关字段，该如何处理呢？本文给出相关探讨和解决方案。1、binlog认知1.1啥是binlog？bin
分类：
数据库 时间：
2020-12-15 12:28:58
阅读次数：
5
题记关系型数据库Mysql/Oracle增量同步Elasticsearch是持续关注的问题，也是社区、QQ群等讨论最多的问题之一。问题包含但不限于：1、Mysql如何同步到Elasticsearch?2、Logstash、kafka_connector、canal选型有什么不同，如何取舍？3、能实现同步增删改查吗？.....本文给出答案。1、Canal同步1.1canal官方已支持Mysql同步E
分类：
数据库 时间：
2020-12-15 12:28:41
阅读次数：
4
前言生产环境中会遇到RabbitMQ数据迁移的场景，例如：切换云服务厂商、不同Region之间数据迁移、新搭建RabbitMQ实例，数据需要同步至新的RabbitMQ实例。前提条件：源RabbitMQ实例打开了shovel插件。目的RabbitMQ实例打开了shovel插件。源实例与目的实例能够网络互通。当前以华为云不同Region下RabbitMQ实例数据迁移为例子。已在华为云北京Region、
分类：
其他好文 时间：
2020-12-15 11:39:27
阅读次数：
2
1.1 模块创建和数据准备 在Flink-project下新建一个 maven module作为子项目，命名为gmall-network-flow。在这个子模块中，我们同样并没有引入更多的依赖，所以也不需要改动pom文件。 在src/main/目录下，将apache服务器的日志文件apache.lo ...
分类：
其他好文 时间：
2020-12-14 13:45:08
阅读次数：
4
查看项目进程：? ????ps -ef | grep xxx 结束进程： kill -9 xxx 实时查看日志： tail -fn 1000 xxx 以上已经足够平时得日常使用。 ...
分类：
系统相关 时间：
2020-12-14 13:31:47
阅读次数：
6
下载文件到本地 使用xshell工具 使用xshell来操作服务非常方便，传文件也比较方便。就是使用rz，sz首先，服务器要安装了rz，szyum install lrzsz当然你的本地windows主机也通过ssh连接了linux服务器运行rz，会将windows的文件传到linux服务器运行sz ...
分类：
系统相关 时间：
2020-12-11 12:40:24
阅读次数：
26
AOF（ append only file） 持久化 以独立日志的方式记录每次写命令，重启时再重新执行AOF文件中的命令达到恢复数据的目的。 AOF的主要作用是解决了数据持久化的实时性， 目前已经是Redis持久化的主流方式。 理解掌握好AOF持久化机制对我们兼顾数据安全性和性能非常有帮助。 AOF ...
分类：
其他好文 时间：
2020-12-11 12:33:18
阅读次数：
21
前言前两章教程，我们使用WebSocket的基础特性打造了一个小小聊天室，并在第二章对其进行了集群化改造。系列教程回顾：手把手搭建WebSocket多人在线聊天室（SpringBoot+WebSocket）[WebSocket]第二章：WebSocket集群分布式改造——实现多人在线聊天室在本文中，我将介绍如何使用WebSocket向实时多人答题对战游戏提供服务端，并详细介绍通接口的设计。这是我在
分类：
Web程序 时间：
2020-12-11 12:24:16
阅读次数：
10
实时数据分页去重问题 hyupeng1006 2018-11-01 15:01:05 3209 收藏 分类专栏： 小程序 1. 问题描述将分页、降序数据用瀑布流展示的时候，因为数据总量是不断变化的，导致之前第一页的数据可能变成第二页，第三页，这样客户查看的时候可能出现重复数据展示。（最新的数据会插到 ...
分类：
其他好文 时间：
2020-12-11 11:47:21
阅读次数：
9
