数据分布设计原则 数据均匀:不同存储节点中存储的数据要尽量均衡,用户访问也要做到均衡 数据稳定:当存储节点出现故障需要移除或者扩增时,数据按照分布规则得到的结果应该尽量保持稳定,不要出现大规模的数据迁移 节点异构性:不同存储节点的硬件配置可能差别较大 隔离故障域:保证数据的可用和可靠性 性能稳定性: ...
分类:
其他好文 时间:
2020-02-17 11:58:45
阅读次数:
77
Kibana环境搭建: 1.下载kibana包上传到服务器,下载地址:https://www.elastic.co/cn/downloads/kibana 2.解压下载的Tar包(过程比较久、大概30秒左右) [root@chenxi software]# tar -zxvf kibana-7.6. ...
分类:
其他好文 时间:
2020-02-17 11:52:02
阅读次数:
80
由于Es是Java写的,安装ES的前提先安装好JDK。 Es环境搭建: 1.下载ES包上传到服务器,下载地址: https://www.elastic.co/cn/downloads/elasticsearch 2.解压下载的Tar包 [root@chenxi software]# tar -zxv ...
分类:
其他好文 时间:
2020-02-17 11:51:50
阅读次数:
68
分片 每个分区都是自己的小型数据库,尽管数据库可能支持同时进行多个分区的操作。分区主要是为了可扩展性。不同的分区可以放在不共享集群中的不同节点上。因此,大数据集可以分布在多个磁盘上,并且查询负载可以分布在多个处理器上。 分区目标是将数据和查询负载均匀分布在各个节点上。如果分区是不公平的,一些分区比其 ...
分类:
其他好文 时间:
2020-02-15 23:22:41
阅读次数:
65
mycat的配置 cacheservice.properties:路由缓存相关配置文件 index_to_charset.properties:字符集映射关系 rule.xml:分片规则 schema.xml:逻辑库定义 sequence_conf:sequence配置信息(一般用基于db,time ...
分类:
数据库 时间:
2020-02-15 15:50:08
阅读次数:
96
Elastic-Job是一个分布式调度解决方案,由两个相互独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成。 Elastic-Job-Lite定位为轻量级无中心化解决方案,使用jar包的形式提供分布式任务的协调服务,外部仅依赖Zookeeper;Elastic-J ...
分类:
其他好文 时间:
2020-02-15 13:01:18
阅读次数:
136
复制 复制意味着在通过网络连接的多台机器上保留相同数据的副本。复制的困难之处在于处理复制数据的变更。我们将 讨论三种流行的变更复制算法:单领导者,多领导者和无领导者。几乎所有分布式数据库都使用这三种方法之一。 主从结构 存储数据库副本的每个节点称为副本。当存在多个副本时,会不可避免的出现一个问题:如 ...
分类:
其他好文 时间:
2020-02-14 00:56:48
阅读次数:
64
es 数据丢失(误删) 现象 此情况下,通过zombodb dsl 方式查询会有异常,数据库sql 模式没问题(数据库数据在) 解决 需要重建索引,命令REINDEX index <indexname> es 故障(服务不可用) 现象 通过zombodb dsl 查询会有一样,同时数据的insert ...
分类:
数据库 时间:
2020-02-13 19:15:02
阅读次数:
87
CRUD 在我们的项目中有日志是一个必不可少的东西,但是日志的检索是一个很麻烦的事情,如每天一个日志,要找到问题就得一个一个找,并不能做到检索功能,这还算好的,如果是分布式的,每个机器都得找一遍,这种效率太低,当然可以把日志收集到一个文件中,多个机器每天的日志可以收集到一块,如果把所有的日志收集一块 ...
分类:
其他好文 时间:
2020-02-13 17:35:35
阅读次数:
102
下载地址:https://www.elastic.co/cn/downloads/elasticsearch 下载对应需要的 ES 。我这边是 Linux 的系统。另外 ES 支持 Docker 方式启动。另外,ES 7.x 不需要本地 JDK 环境支持: ES 5,安装需要 JDK 8 以上 ES ...
分类:
其他好文 时间:
2020-02-12 18:45:40
阅读次数:
60