最近云上用户用户遇到一个 sharding 集群性能问题的疑惑，比较有代表性，简单分享一下 测试配置 mongos x 2、shard x 3 测试1：集合不开启分片，批量 insert 导入数据，每个 batch 100 个文档 测试2：集合开启分片，随机生成 shardKey，chunk 已提前 ...
分类：
数据库 时间：
2020-03-02 16:30:09
阅读次数：
76
Schema.xml 作为 MyCat 中重要的配置文件之一，管理着 MyCat 的逻辑库、表、分片规则、DataNode 以及 DataSource。 <?xml version="1.0"?> <!DOCTYPE mycat:schema SYSTEM "schema.dtd"> <mycat: ...
分类：
其他好文 时间：
2020-02-28 23:06:41
阅读次数：
112
1、redis cluster介绍 redis cluster （1）自动将数据进行分片，每个master上放一部分数据 （2）提供内置的高可用支持，部分master不可用时，还是可以继续工作的 在redis cluster架构下，每个redis要放开两个端口号，比如一个是6379，另外一个就是加1 ...
分类：
编程语言 时间：
2020-02-28 22:55:20
阅读次数：
68
一、Es是如何实现分布式的 1.Es本身基于lucene,高度支持分布式的核心思想就在于，在多个服务器上启动多个Es进程实例，组建了一套Es集群。 2.其次，因为shard分片的应用，非常灵活的支持数据量横向扩展（只需要重建一个索引，多加shard，把数据迁进去）。再者说shard的数据其实是有多个 ...
分类：
其他好文 时间：
2020-02-28 01:38:45
阅读次数：
109
ES为什么要实现集群 在单台ES服务器节点上，随着业务量的发展索引文件慢慢增多，会影响到效率和内存存储问题等。 如果使用ES集群，会将单台服务器节点的索引文件使用分片技术，分布式的存放在多个不同的物理机器上，从而可以实现高可用、容错性等。 es核心存放的是索引。 什么是分片技术 将数据拆分成多台节点 ...
分类：
其他好文 时间：
2020-02-27 20:35:52
阅读次数：
54
1.redis cluster集群是什么？ redis cluster集群是一个由多个主从节点群组成的分布式服务器群，它具有复制、高可用和分片特性。Redis cluster集群不需要sentinel哨兵也能完成节点移除和故障转移的功能。 需要将每个节点设置成集群模式，这种集群模式没有中心节点，可水 ...
分类：
其他好文 时间：
2020-02-24 14:50:58
阅读次数：
67
Elasticsearch 是一个非常通用的平台，支持各种用户实例，并为组织数据和复制策略提供了极大的灵活性。但是，这种灵活性有时会使我们很难在早期确定如何很好地将数据组织成索引和分片，尤其是不熟悉 Elastic Stack。虽然不一定会在首次启动时引起问题，但随着数据量的增长，它们可能会导致性能 ...
分类：
其他好文 时间：
2020-02-22 23:58:17
阅读次数：
131
什么是读写分离 在数据库集群架构中，让主库负责处理事务性查询，而从库只负责处理select查询，让两者分工明确达到提高数据库整体读写性能。当然，主数据库另外一个功能就是负责将事务性查询导致的数据变更同步到从库中，也就是写操作。 读写分离的好处 1）分摊服务器压力，提高机器的系统处理效率 读写分离适用 ...
分类：
数据库 时间：
2020-02-21 21:57:28
阅读次数：
89
1、常见的三种数据的集群存储模式 1. full mirror：全量镜像模式，单纯备份模式，各个节点数据相同，都包含了全量数据，仅主节点可写，保证了数据冗余和读的负载均衡。数据安全性高，横向扩展能力差，资源利用率不高。 2. pure sharding：数据分片，每个节点的数据不相同，所有节点中数据 ...
分类：
其他好文 时间：
2020-02-20 19:54:08
阅读次数：
67
报错如下：mongodb shard could not find host matching read preference {mode \"primary\" for set shard1 检查副本集shard1 主库正常，从库show dbs报错 报错误如下：not master and sl ...
分类：
数据库 时间：
2020-02-20 13:11:54
阅读次数：
112
