1、避免深分页操作 es是一个搜索引擎，所以如果用这个搜索引擎对大量的数据进行搜索，并且返回搜索结果中排在最前面的少数结果，是非常合适的。 类似于后台下载功能，如果要做成类似数据库的东西，每次都进行大批量的查询，是很不合适的。如果真的要做大批量结果的查询，记得考虑用scroll api。 2、避免业 ...
分类：
其他好文 时间：
2020-06-26 20:34:36
阅读次数：
64
在学习springboot-vue前后端分离项目过程中, 需要很多中间件和工具来架构好项目。这就使得每次开始就要打开控制台运行redis、elasticsearch、rabbitMQ等十分麻烦, 我就寻思着十分可以用.bat批量一次性执行所有任务, 折腾个把小时后找到了办法。 ...
ELKR 概述 ELK(R) = Elasticsearch + Logstash + Kibana (+ Redis) 是一套完整的工业级日志分析工具。 Elasticsearch 是整个日志分析系统的核心，它负责对日志数据进行分析、索引等重要工作； Logstash 则主要用于对日志数据进行初步 ...
分类：
其他好文 时间：
2020-06-26 18:13:31
阅读次数：
74
面试官：想了解对 ES 集群的运维能力。 解答： 1、关闭缓存 swap; 2、堆内存设置为：Min（节点内存/2, 32GB）; 3、设置最大文件句柄数； 4、线程池+队列大小根据业务需要做调整； 5、磁盘存储 raid 方式——存储有条件使用 RAID10，增加单节点性能以及避免单 节点存储故障 ...
分类：
系统相关 时间：
2020-06-26 16:49:44
阅读次数：
108
1、Elasticsearch 的选主是 ZenDiscovery 模块负责的，主要包含 Ping（节点之 间通过这个 RPC 来发现彼此）和 Unicast（单播模块包含一个主机列表以控制哪 些节点需要 ping 通）这两部分； 2、对所有可以成为 master 的节点（node.master: ...
分类：
其他好文 时间：
2020-06-26 14:45:50
阅读次数：
57
想了解大数据量的运维能力。 解答：索引数据的规划，应在前期做好规划，正所谓“设计先行，编码在后”， 这样才能有效的避免突如其来的数据激增导致集群处理能力不足引发的线上客户 检索或者其他业务受到影响。 如何调优，正如问题 1 所说，这里细化一下： 3.1 动态索引层面 基于模板+时间+rollover ...
分类：
其他好文 时间：
2020-06-26 14:21:51
阅读次数：
73
1、64 GB 内存的机器是非常理想的， 但是 32 GB 和 16 GB 机器也是很常见的。 少于 8 GB 会适得其反。 2、如果你要在更快的 CPUs 和更多的核心之间选择，选择更多的核心更好。多 个内核提供的额外并发远胜过稍微快一点点的时钟频率。 3、如果你负担得起 SSD，它将远远超出任何 ...
分类：
系统相关 时间：
2020-06-26 12:55:37
阅读次数：
71
1、搜索被执行成一个两阶段过程，我们称之为 Query Then Fetch； 2、在初始查询阶段时，查询会广播到索引中每一个分片拷贝（主分片或者副本分 片）。 每个分片在本地执行搜索并构建一个匹配文档的大小为 from + size 的 优先队列。 PS：在搜索的时候是会查询 Filesystem ...
分类：
其他好文 时间：
2020-06-26 12:47:39
阅读次数：
95
1、SEE：https://elasticsearch.cn/article/32 2、倒排词典的索引需要常驻内存，无法 GC，需要监控 data node 上 segment memory 增长趋势。 3、各类缓存，field cache, filter cache, indexing cache ...
分类：
其他好文 时间：
2020-06-26 10:56:28
阅读次数：
70
