JavaClient 查询ES 各种term query的 QueryBuild 构建 官方文档地址：https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-terms-query.html 1、term q ...
分类：
其他好文 时间：
2019-07-20 21:46:34
阅读次数：
3850
需求在我们的实际业务中，业务数据大部分是通过传统DB做持久化，但有时会使用Solr/Elastic Search等做搜索、缓存等其他服务，那么如何将数据同步到这些异构的存储系统中呢？这就是我最近在学习的一个东西，要想让数据非常稳定、高效、低延时的同步，并非一件易事（对于我来说是这样，如果你有非常成熟... ...
分类：
数据库 时间：
2019-07-19 23:46:15
阅读次数：
303
一、配置及部署 首先从官网 https://www.elastic.co/downloads下载logstash 并解压 tar -zxvf logstash-5.6.0.tar.gz 配置一个test.conf 测试logstash: # 在logstash解压目录下，新建test.conf # ...
分类：
其他好文 时间：
2019-07-18 15:11:42
阅读次数：
97
流指的是数据流，指的是数据是分片传输， 数据可以实现非阻塞 gulp 【 流式操作 】 案例： 打包压缩包 流程： 读取文件 const fs=require('fs') 2. 创建压缩包 const zlib=require('zlib') const inp=fs.createReadStrea ...
分类：
其他好文 时间：
2019-07-17 20:45:33
阅读次数：
136
redis分片分片场景在业务量相对较小的时候，可以将所有数据都存到一台机器上，只使用redis单机模式，不存在分片问题。如果业务的数据量超过一台物理机器的内存大小时，则会面对扩展问题，需要多台机器去存数据，此时，需要使用到redis的分片技术。 如何分片redis通过分slot的方式进行分片。例如有 ...
分类：
其他好文 时间：
2019-07-17 18:37:48
阅读次数：
86
1. 查看ES集群健康状态 查看指定索引库的健康状态http://localhost:9200/_cluster/health/index_name?prettyhttp://localhost:9200/_cluster/health/index_name,index_name2?pretty ...
分类：
其他好文 时间：
2019-07-17 12:49:37
阅读次数：
119
一个分布式服务跟踪系统主要由三部分构成： 数据收集数据存储数据展示 根据系统大小不同，每一部分的结构又有一定变化。譬如，对于大规模分布式系统，数据存储可分为实时数据和全量数据两部分，实时数据用于故障排查（Trouble Shooting），全量数据用于系统优化；数据收集除了支持平台无关和开发语言无关 ...
分类：
其他好文 时间：
2019-07-17 09:15:05
阅读次数：
121
一、前言：日志分析是我们运维解决系统故障、发现问题的主要手段。为了可以集中管理多台服务器的日志记录，开源实时日志分析ELK平台应用而生，ELK由Elasticsearch、Logstash和Kibana三个开源工具组成，这三个工具可以分别部署在不同的服务器上，并且相互关联，不过需要收集哪台服务器的日志，就必须在该服务器上部署Logstash。ELK的官网是：Elastic官网ELK的工作原理如下（
分类：
其他好文 时间：
2019-07-16 22:47:28
阅读次数：
244
一、ES一些概念 索引 _inde，文档存储的地方，类似于关系型数据中的数据库。 事实上，数据被存储和索引在分片中，索引仅仅是一个把一个或者多个分片分组在一起的逻辑空间。 索引名字必须是全部小写，不允许以下划线开头，不能包含逗号。 文档 文档id是一个字符串，与_index组合时，就可以在Elast ...
分类：
其他好文 时间：
2019-07-14 14:39:13
阅读次数：
75
配置如上图，遇到一个坑，卡了我两天，我去。。。。 刚开始我的placeholder_db_dir是配置成了/usr/local/etc/logstash-5.6.0，也就是logstash的根目录，谁成想配置成这样居然不好使，各种百度各种谷歌，明明跟人家的配置都是一样的，我的就是同步不就去es。差点 ...
分类：
数据库 时间：
2019-07-14 13:22:07
阅读次数：
554
