我们知道Logstash的架构如下： 它的整个pipleline分为三个部分： input插件：提取数据。 这可以来自日志文件，TCP或UDP侦听器，若干协议特定插件（如syslog或IRC）之一，甚至是排队系统（如Redis，AQMP或Kafka）。 此阶段使用围绕事件来源的元数据标记传入事件。 ...
分类：
其他好文 时间：
2020-07-15 23:00:31
阅读次数：
84
在前面的一篇文章“Logstash：处理多个input”中，我们介绍了如何使用在同一个配置文件中处理两个input的情况。在今天这篇文章中，我们来介绍如何来处理多个配置文件的问题。对于多个配置的处理方法，有多个处理方法： 多个pipeline 一个pipleline处理多个配置文件 一个pipeli ...
分类：
其他好文 时间：
2020-07-15 22:54:27
阅读次数：
58
前言 本篇只介绍跟 高可用 相关的配置。 TCP模式 请参考文章：【Canal——增量同步MySQL数据到ElasticSearch】 Kafka模式 请参考文章：【Canal——canal server 读取 binlog 到 kafka 然后在使用 canal-adapter】 Canal se ...
分类：
其他好文 时间：
2020-07-15 15:19:27
阅读次数：
60
前言 本篇只介绍跟 Kafka模式 相关的配置。 TCP模式 请参考文章：【Canal——增量同步MySQL数据到ElasticSearch】 高可用 请参考文章：【Canal——高可用架构设计与应用】 一、架构 二、canal-server 配置 修改canal 配置文件： vi /usr/loc ...
分类：
其他好文 时间：
2020-07-15 15:19:01
阅读次数：
133
前言：近期在研究elasticsearch，开发语言c#，一个“简单”的功能研究了一天，好费神(可能第一次使用es的原因)。这个功能就是：c#语言中String的Contains功能。 例如：文本内容是：4G时代，网络标准有FDD、TDD之分 1.搜索“有FDD”，可以搜索出来； 2.搜索“有FDD ...
分类：
其他好文 时间：
2020-07-15 15:07:57
阅读次数：
98
索引操作和文档基本操作 import java.io.IOException; import java.util.ArrayList; import java.util.concurrent.TimeUnit; import org.elasticsearch.action.admin.indice ...
分类：
编程语言 时间：
2020-07-14 18:05:08
阅读次数：
263
区别项 Innodb MyISAM 事务 支持 不支持 锁粒度 行锁，适合高并发 表锁，不适合高并发 是否默认 默认 非默认 支持外键 支持外键 不支持 适合场景 读写均衡，写大于读场景，需要事务 读多写少场景，不需要事务 全文索引 可以通过插件实现，更多使用ElasticSearch 支持全文索引 ...
分类：
数据库 时间：
2020-07-14 00:48:04
阅读次数：
80
Elasticsearch 性能优化 Elasticsearch 是当前流行的企业级搜索引擎，设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。作为一个开箱即用的产品，在生产环境上线之后，我们其实不一定能确保其的性能和稳定性。如何根据实际情况提高服务的性能，其实有很多技巧。这章我们 ...
分类：
其他好文 时间：
2020-07-13 11:46:18
阅读次数：
75
elasticsearch: 先随便贴一个查询数据： GET /test/_search { "size": 0, "aggs": { "find_missing_ids": { "histogram": { "field": "numeric_id", "interval": 1, "min_do ...
分类：
其他好文 时间：
2020-07-13 11:24:39
阅读次数：
70
官网简介： https://www.elastic.co/guide/en/kibana/current/introduction.html 官网下载： https://www.elastic.co/cn/downloads/kibana logstash-6-1-4 下载解压，执行 ./bin/k ...
分类：
其他好文 时间：
2020-07-12 20:40:42
阅读次数：
286
