海量日志下的日志架构优化：filebeat+logstash+kafka+ELK
分类：
其他好文 时间：
2018-12-24 00:19:25
阅读次数：
506
首先安装,这里采用rpm安装: 创建repo文件: 在yum install logstash之前确保已经安装了jdk,也就是确保有java环境: 查看logstash的配置文件: ...
分类：
其他好文 时间：
2018-12-23 22:08:38
阅读次数：
191
Filebeat是一个轻量级的托运人，用于转发和集中日志数据。Filebeat作为代理安装在服务器上，监视您指定的日志文件或位置，收集日志事件，并将它们转发到Elasticsearch或Logstash进行索引。以下是Filebeat的工作原理：启动Filebeat时，它会启动一个或多个输入，这些输入将查找您为日志数据指定的位置。对于Filebeat找到的每个日志，Filebeat启动一个收集器。
分类：
其他好文 时间：
2018-12-21 13:04:27
阅读次数：
251
Logstash 是一个开源的数据收集引擎，它具有备实时数据传输能力。它可以统一过滤来自不同源的数据，并按照开发者的制定的规范输出到目的地。它以插件的形式来组织功能，通过配置文件来描述需要插件做什么，配置文件主要由input、filter和output三部分组成。 一、input 负责从数据源提取数 ...
分类：
其他好文 时间：
2018-12-20 17:04:12
阅读次数：
225
1 --- 2 - hosts: web-server 3 remote_user: root 4 tasks: 5 - name: stop logstash 6 shell: PID=`ps -ef | grep logstash | grep -v grep | awk '{print $2}... ...
分类：
其他好文 时间：
2018-12-14 19:38:53
阅读次数：
177
Filter是Logstash功能强大的主要原因，它可以对LogstashEvent进行丰富的处理，比如说解析数据、删除字段、类型转换等等，常见的有如下几个：date：日志解析grok：正则匹配解析dissect：分割符解析mutate：对字段做处理，比如重命名、删除、替换等json：按照json解析字段内容到指定字段中geoip：增加地理位置数据ruby：利用ruby代码来动态修改Logstas
分类：
其他好文 时间：
2018-12-13 11:27:50
阅读次数：
276
ELK日志分析平台 一、ELK介绍 ELK是三个开源软件的缩写，分别为：Elasticsearch 、 Logstash以及Kibana，都是开源软件，新增一个beats，（轻量级日志处理工具Agent） ELK是三个开源软件的缩写，分别为：Elasticsearch 、 Logstash以及Kib ...
分类：
其他好文 时间：
2018-12-12 23:54:39
阅读次数：
348
新的编译工具默认的是unicode编码方式，许多在多字节下面显示中文的方法已经不再适用了按照道理说设置为unicode编码后应该会很好的支持中文， 但是实际情况很悲惨，显示的都是乱码。 看到网上的很多方法都是把CSTRING转来转去，很头疼，感觉微软不会那么傻，既然人家界面都考虑多语言兼容了，不可能 ...
分类：
编程语言 时间：
2018-12-12 00:12:54
阅读次数：
230
[root@server5elk]#rpm-ivhlogstash-2.3.3-1.noarch.rpm[root@server5logstash]#/opt/logstash/bin/logstash-e‘input{stdin{}}output{stdout{codec=>rubydebug}}‘Settings:Defaultpipelineworkers:1Pipel
分类：
其他好文 时间：
2018-12-11 17:31:04
阅读次数：
197
logstash 获取 安装 jdbc 和 elasticsearch 插件 获取 jdbc mysql 驱动 编写配置文件 logstash-input-jdbc 使用 logstash-input-jdbc 插件读取 mysql 的数据，这个插件的工作原理比较简单，就是定时执行一个 sql，然后 ...
分类：
数据库 时间：
2018-12-10 18:19:36
阅读次数：
279
