需求 kafka中的message带有key，带有相同key值的message后入kafka的意味着更新message，message值为null则意味着删除message。 用logstash来同步kafka中这样的数据入Elasticsearch，从而实现可以同步增删改数据。 环境 解决(Log ...
分类：
其他好文 时间：
2019-01-24 21:54:28
阅读次数：
452
ELK提供了一系列采集方案。但对于从app端过来的日志，没有接收模块。一种方案可以用logstash打开socket端口接收，需要客户端配合。这里提供通过http的方案。接收服务器采用springboot实现收集，发送日志到kafka。也可以直接写文件，用fileBeat读取发送到kafka。从ka ...
分类：
其他好文 时间：
2019-01-24 17:56:53
阅读次数：
128
File-->Settings-->Editor-->File Encodings->将图中内容均设置为UTF-8 >点击+号选中自己的项目->Apply-->OK 即可解决中文乱码问题 ...
分类：
其他好文 时间：
2019-01-23 23:28:33
阅读次数：
332
Logstash最强大的功能在于丰富的过滤器插件。此过滤器提供的并不单单是过滤的功能，还可以对进入过滤器的原始数据进行复杂的逻辑处理。甚至添加独特的事件到后续流程中。 1、logstash基本语法组成 logstash主要由三部分组成：input、filter、output。而filter就是过滤器 ...
分类：
其他好文 时间：
2019-01-22 15:08:46
阅读次数：
246
Docker的Remote Api并不是1.12才有的，Docker1.12的Remote Api升到了1.24。Remote api的使用在1.12中没有大的变化，稍微大一点的变化是到这个版本之后，二进制文件分裂成了主client的docker以及主server的dockerd了。在centos上 ...
下载logstash-6.5.4 ZIP解压和es 放到es根目录下 下载mysql jdbc的驱动 mysql-connector-java-8.0.12 创建配置文件 mysqltoes.conf 放在logstash-6.5.4\bin目录下 input { stdin { } jdbc { ...
分类：
数据库 时间：
2019-01-18 18:33:43
阅读次数：
645
1.flume的基础介绍（1）常用的数据收集工具 -Chukwa（Apache） -Scribe（Facebook） -Fluentd：Fluentd使用C/Ruby开发，使用JSON文件来统一日志数据。 -Logstash（著名的开源数据栈ELK（ElasticSearch，Logstash，Kibana）中
分类：
Web程序 时间：
2019-01-17 14:09:05
阅读次数：
215
ambari的hdp中原生不支持elasticsearch安装，下面介绍如何通过mpack方式使ambari支持elasticsearch安装 安装过程 1 下载 Mpack include version 6.3.2 of ElasticSearch, Logstash, Kibana, File ...
分类：
其他好文 时间：
2019-01-17 14:00:01
阅读次数：
769
Filter grok：进行正则匹配 ruby：使用ruby代码调整输出内容 kv：进行基于单一分隔符的键值匹配 date：时间匹配到·timestamp mutate：调整输出 Output 待续 ...
分类：
其他好文 时间：
2019-01-17 12:46:24
阅读次数：
195
配置 启动 在根目录下，执行命令： 效果图如下： 同步 完成了一条数据的同步 ...
分类：
数据库 时间：
2019-01-11 20:13:08
阅读次数：
270
