程序员内点事 2020-10-26 11:11:23 140 收藏 1 分类专栏： 分库分表 文章标签： java 版权 书接上文 《一文快速入门分库分表（必修课）》，这篇拖了好长的时间，本来计划在一周前就该写完的，结果家庭内部突然人事调整，领导层进行权利交接，随之宣布我正式当爹，紧接着家庭地位滑落 ...
分类：
数据库 时间：
2020-12-16 12:05:32
阅读次数：
8
随着业务的增长，一般的公司都会经历一个从单库单表到分库分表的过程 , 需要考虑以下要素判断是否开始分库分表 1. 如果mysql单库的QPS超过1000就要考虑分库了 , 一般根据业务进行分库 目前新浪邮箱的主库是sinanet 各种辅助库 userservice客服系统 sinastore 文件存 ...
分类：
数据库 时间：
2020-12-16 11:44:14
阅读次数：
5
0、题记实际业务场景中，会遇到基础数据存在Mysql中，实时写入数据量比较大的情景。迁移至kafka是一种比较好的业务选型方案。而mysql写入kafka的选型方案有：方案一：logstash_output_kafka插件。方案二：kafka_connector。方案三：debezium插件。方案四：flume。方案五：其他类似方案。其中：debezium和flume是基于mysqlbinlog实
分类：
数据库 时间：
2020-12-15 12:34:47
阅读次数：
9
题记来自Elasticsearch中文社区的问题——MySQL中表无唯一递增字段，也无唯一递增时间字段，该怎么使用logstash实现MySQL实时增量导数据到es中？logstash和kafka_connector都仅支持基于自增id或者时间戳更新的方式增量同步数据。回到问题本身：如果库表里没有相关字段，该如何处理呢？本文给出相关探讨和解决方案。1、binlog认知1.1啥是binlog？bin
分类：
数据库 时间：
2020-12-15 12:28:58
阅读次数：
5
题记关系型数据库Mysql/Oracle增量同步Elasticsearch是持续关注的问题，也是社区、QQ群等讨论最多的问题之一。问题包含但不限于：1、Mysql如何同步到Elasticsearch?2、Logstash、kafka_connector、canal选型有什么不同，如何取舍？3、能实现同步增删改查吗？.....本文给出答案。1、Canal同步1.1canal官方已支持Mysql同步E
分类：
数据库 时间：
2020-12-15 12:28:41
阅读次数：
4
mongodb常用命令： mongod ：启动数据库 （配置完后mongodb默认数据存储路径为安装磁盘根目录下（cmd也在该目录下打开）data/db，所以需要自己新建这两个文件夹，才可以用mongod直接启动。如果把data/db两个文件夹建在其它位置需用 mongod --dbpath=数据存 ...
分类：
数据库 时间：
2020-12-15 12:19:45
阅读次数：
4
收集TCP/UDP日志 通过logstash的tcp/udp插件收集日志，通常用于在向elasticsearch日志补录丢失的部分日志，可以将丢失的日志通过一个TCP端口直接写入到elasticsearch服务器。 1.配置Logstash #进入Logstash配置文件目录 [root@redis ...
分类：
其他好文 时间：
2020-12-15 11:48:37
阅读次数：
1
背景说明华为云分布式数据库中间件（DistributedDatabaseMiddleware，简称DDM），专注于解决数据库分布式扩展问题，突破了传统数据库的容量和性能瓶颈，实现海量数据高并发访问。DDM使用华为关系型数据库（RDS）作为存储引擎，具备自动部署、分库分表、弹性伸缩、高可用等全生命周期运维管控能力。上边几句话是从华为云官网的帮助手册摘录出来的[1]，简单介绍了DDM服务。从我这个使用
分类：
数据库 时间：
2020-12-15 11:37:22
阅读次数：
4
前言华为云分布式数据库中间件（DistributedDatabaseMiddleware）是解决数据库容量、性能瓶颈和分布式扩展问题的中间件服务，提供分库分表、读写分离、弹性扩容等能力，应对海量数据的高并发访问场景，有效提升数据库读写性能。图1：DDM产品介绍DDM前世之：MyCATMyCAT的使用情况全国范围内粗略统计超过600家以上成功案例，涵盖政府、金融、证券、互联网、物联网、电信、游戏等众
分类：
数据库 时间：
2020-12-14 13:59:08
阅读次数：
18
数据库架构的演变在业务数据量比较少的时代，我们使用单机数据库就能满足业务使用，随着业务请求量越来越多，数据库中的数据量快速增加，这时单机数据库已经不能满足业务的性能要求，数据库主从复制架构随之应运而生。主从复制是将数据库写操作和读操作进行分离，使用多个只读实例（slaverreplication）负责处理读请求，主实例（master）负责处理写请求，只读实例通过复制主实例的数据来保持与主实例的数据
分类：
数据库 时间：
2020-12-14 13:57:22
阅读次数：
13
