面试官:想了解应聘者之前公司接触的 ES 使用场景、规模,有没有做过比较大 规模的索引设计、规划、调优。 解答: 如实结合自己的实践场景回答即可。 比如:ES 集群架构 13 个节点,索引根据通道不同共 20+索引,根据日期,每日 递增 20+,索引:10 分片,每日递增 1 亿+数据, 每个通道每 ...
分类:
其他好文 时间:
2020-06-20 19:36:09
阅读次数:
80
这里的索引文档应该理解为文档写入 ES,创建索引的过程。 文档写入包含:单文档写入和批量 bulk 写入,这里只解释一下:单文档写入流程。 记住官方文档中的这个图。 第一步:客户写集群某节点写入数据,发送请求。(如果没有指定路由/协调节点, 请求的节点扮演路由节点的角色。)第二步:节点 1 接受到请 ...
分类:
其他好文 时间:
2020-06-20 11:38:43
阅读次数:
168
协调节点默认使用文档 ID 参与计算(也支持通过 routing),以便为路由提供合适的分片。 shard = hash(document_id) % (num_of_primary_shards) 1、当分片所在的节点接收到来自协调节点的请求后,会将请求写入到 Memory Buffer,然后定时 ...
分类:
其他好文 时间:
2020-06-20 11:24:13
阅读次数:
115
elasticsearch 单节点常见问题 记录elasticsearch 单节点使用时,出现健康状态为 集群健康值:yellow (23 of 46),主要是后面的数字时前面数字的两倍,则这个问题时分片副本问题。 ES 健康的三种状态 状态为green 时,(代表健康状态,说明分片备份都可以用) ...
分类:
其他好文 时间:
2020-06-20 01:29:26
阅读次数:
212
网页前端video播放m3u8(HLS) HLS (HTTP Live Streaming)是Apple公司研发的流媒体传输技术,包括一个m3u8的索引文件、多个ts分片文件和key加密串文件。这项技术主要应用于点播和直播领域。 开源JS库(Github): 【video.js】https://gi ...
分类:
Web程序 时间:
2020-06-20 00:45:38
阅读次数:
815
1. 概述 ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈,它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar(计划中)这3款相互独立的产品组成。他们均提供标准化的数据分片、分布式事务和数据库治理功能,可适用于如Java同构 ...
分类:
数据库 时间:
2020-06-19 21:00:44
阅读次数:
62
如果不了解 MongoDB Sharded Cluster 原理,请先阅读 MongoDB Sharded cluster架构原理 关于MongoDB Sharding,你应该知道的 关于 sharding 迁移,会分3个部分来介绍,本文为第三部分 负载均衡及迁移策略 chunk 迁移流程 Bala ...
分类:
数据库 时间:
2020-06-18 12:43:23
阅读次数:
96
MongoDB有哪些优秀特性及适合的场景是什么? 一、优秀特性 1、实用性:面向类json富文档数据模型,对开发人员天然的友好。 2、可用性:基于raft协议的自动高可用,轻松提供99.999%的可用性。 3、扩展性:对分片集群的支持,为业务提供了友好的水平扩展。 4、高性能:嵌套模型设计支持,减少 ...
分类:
数据库 时间:
2020-06-17 11:13:57
阅读次数:
77
节点IP 192.168.31.101 192.168.31.102 因为手头没有足够多的机器,所以只能用两台机器各起两个实例组成两分片两副本的集群。 基本规划 副本01 副本02 分片01 192.168.31.101:9100 192.168.31.102:9200 分片02 192.168.3 ...
分类:
其他好文 时间:
2020-06-16 20:09:16
阅读次数:
55
一.搜索 搜索所有: GET /index/_search 返回结果解释: took:耗时几毫秒 time_out:是否超时,默认不超时,设置超时时间后,当搜索超时后,停止搜索,并返回已经搜索到的数据。 配置方法:search.default_search_timeout _shards:到几个分片 ...
分类:
其他好文 时间:
2020-06-12 12:48:02
阅读次数:
54