1、应用场景实时数据流通过kafka后，根据业务需求，一部分直接借助kafka-connector入Elasticsearch不同的索引中。另外一部分，则需要先做聚类、分类处理，将聚合出的分类结果存入ES集群的聚类索引中。如下图所示：业务系统的分层结构可分为：接入层、数据处理层、数据存储层、接口层。那么问题来了？我们需要基于聚合（数据处理层）的结果实现检索和聚合分析操作，如何实现更快的检索和更高效
分类：
其他好文 时间：
2020-08-03 09:46:14
阅读次数：
76
1、聚合为什么慢？大多数时候对单个字段的聚合查询还是非常快的，但是当需要同时聚合多个字段时，就可能会产生大量的分组，最终结果就是占用Elasticsearch大量内存，从而导致OOM的情况发生。实践应用发现，以下情况都会比较慢：1）待聚合文档数比较多（千万、亿、十亿甚至更多）；2）聚合条件比较复杂（多重条件聚合）；3）全量聚合（翻页的场景用）。2、聚合优化方案探讨优化方案一：默认深度优先聚合改为广
分类：
其他好文 时间：
2020-08-03 09:45:09
阅读次数：
79
1、Elasticsearch支持聚合后分页吗，为什么？不支持，看看Elasticsearch员工如何解读。这个问题，2014年在github上有很长的讨论。究其为什么ES不支持聚合后分页？可概括如下：1）性能角度——聚合分页会在大量的记录中产生性能问题。2）正确性角度——聚合的文档计数不准确。所以奇怪的事情可能会发生，如第二页的第一项具有比第一页的最后一个元素更高的计数。具体为什么会不正确？这是
分类：
其他好文 时间：
2020-08-03 09:43:54
阅读次数：
109
每个服务都有自己的接口，通过Swagger来管理接口文档。在服务较多的时候我们希望有一个统一的入口来进行文档的查看，这个时候可以在Zuul中进行文档的聚合显示。下面来看下具体的整合步骤以及采坑记录。Cloud版本：Finchley.SR2，Boot版本：2.0.6加入Swagger的依赖：1.<!--Swagger-->2.<dependency>3.<groupId
分类：
其他好文 时间：
2020-08-02 10:04:34
阅读次数：
68
==背景== 数据库：我们的生产环境中有一个设备运行的数据库使用的是InfluxDB，这里面存储了所有设备上报上来的实时运行数据，数据量增速较快。 功能需求：产品有一个叫趋势分析的功能，用来按照不同的算子（mean、max等），不同的时间段（1分钟、30分钟）等对数据进行聚合。 ==版本== Inf ...
分类：
数据库 时间：
2020-07-30 21:52:35
阅读次数：
100
Collections工具类 Java里关于聚合的工具类，包含有各种有关集合操作的静态多态方法，不能实例化(把构造函数私有化) public class Collections { // Suppresses default constructor, ensuring non-instantiabi ...
分类：
编程语言 时间：
2020-07-30 01:18:26
阅读次数：
71
// 1. 数据库数据 // { // "orders": { // 集合（表名） // "data": [ // 数据 // {"_id":4,"book":"novel 1","price":30,"quantity":2}, // {"_id":5,"book":"science 1" ...
分类：
数据库 时间：
2020-07-28 13:56:39
阅读次数：
80
// 1. 数据库数据 // { // "avatar": { // 集合（表名） // "data": [ // 数据 // { // "_id": "1", // "alias": "john", // "region": "asia", // "scores": [40, ...
分类：
数据库 时间：
2020-07-27 23:57:42
阅读次数：
100
基本认识 将抽象和实现解耦，使得两者可以独立地变化。 是一种结构型设计模式。 桥接模式基于类的最小设计原则，通过使用封装、聚合及继承等行为让不同的类承担不同的职责，它的主要特点是把抽象与行为实现分离开来，从而可以保持各部分的独立性以及应对它们的功能扩展。 桥接模式虽然是一个使用频率不高的模式，但是熟 ...
分类：
其他好文 时间：
2020-07-26 19:15:41
阅读次数：
55
抑制构造用函数的隐式转换（explicit） 当类存在一个参数的构造函数的时候也可以将这个构造函数称之为转换构造函数，允许将参数类型的值转换成类类型，但是只允许一步类型转换，如果想要禁止这种转换操作，可以通过在构造函数前面添加 explicit 实现。注意，如果将构造函数声明成了explicit的方 ...
分类：
编程语言 时间：
2020-07-26 19:11:09
阅读次数：
63
