ElasticSearch是现在技术前沿的大数据引擎，常见的组合有ES+Logstash+Kibana作为一套成熟的日志系统，其中Logstash是ETL工具，Kibana是数据分析展示平台。ES让人惊艳的是他强大的搜索相关能力和灾备策略，ES开放了一些接口供开发者研发自己的插件，ES结合中文分词的 ...
分类：
数据库 时间：
2016-05-27 10:51:30
阅读次数：
1788
注：本系统使用的是Logstash+elasticsearch+elastic+nignx进行日志分析、展示1环境版本：...21.1主机：...21.2前提：...22Logstash配置...23Kibana与elasticsearch的启动...63.1elasticsearch.63.2kibana.74Nginx的配置：...71环境版本：操作系统：CentOS7.2.1511内核：LinuxLo..
分类：
其他好文 时间：
2016-05-25 19:07:21
阅读次数：
689
Grok是Logstash最重要的插件。你可以在grok里预定义好命名正则表达式，在稍后(grok参数或者其他正则表达式里)引用它。它非常适用于sysloglogs，apache和一些其他的webserverlogs，以及mysqllogs。grok有很多定义好pattern，当然也可以自己定义。grok的语法：%{SYNTAX:SEMANTIC}..
分类：
其他好文 时间：
2016-05-24 22:57:57
阅读次数：
9659
USERNAME[a-zA-Z0-9_-]+
USER%{USERNAME}
INT(?:[+-]?(?:[0-9]+))
BASE10NUM(?<![0-9.+-])(?>[+-]?(?:(?:[0-9]+(?:\.[0-9]+)?)|(?:\.[0-9]+)))
NUMBER(?:%{BASE10NUM})
BASE16NUM(?<![0-9A-Fa-f])(?:[+-]?(?:0x)?(?:[0-9A-Fa-f]+))
BASE16FLOAT\b(?<![0-9A-Fa-f.])..
分类：
其他好文 时间：
2016-05-24 19:20:21
阅读次数：
1516
需求 多个文本文件需要存到 ES 中去。 每一个文件存放为一个 doc。 每一个文件都是多行的，行数不定，且没有固定的内容格式。 实现 可以通过 logstash-filter-multiline 插件，配置 pattern 为 "EOF"，可以实现把每一个文档当作一个 Event 处理。 ...
分类：
其他好文 时间：
2016-05-20 11:50:07
阅读次数：
1920
Elasticsearch是一款提供检索以及相关度排序的开源框架，同时，也支持对存储的文档进行复杂的的统计-聚合。kubana的图标就是基于聚合来绘制的。更多内容请参考Elasticsearch+Logstash+Kibana教程 前言 ES中的聚合被分成两大类：Metrics度量和bucket桶， ...
分类：
其他好文 时间：
2016-05-19 16:25:24
阅读次数：
351
官网地址 本文内容 语法 测试数据 可配置选项 参考资料 date 插件是日期插件，这个插件，常用而重要。 如果不用 date 插件，那么 Logstash 将处理时间作为时间戳。时间戳字段是 Logstash 自己添加的内置字段 @timestamp，在ES中关于时间的相关查询，必须使用该字段，你... ...
分类：
其他好文 时间：
2016-05-18 17:33:08
阅读次数：
414
架构图 ELK 架构图：其中es 是集群，logstash 是单节点(猜想除非使用nginx对log4j的网络输出分发），kibana是单机（用不着做成集群）。 1.拓扑图 2.logstash 收集日志示意图。 3.带有redis的流程图。 ELK部署 1.三种组件下载地址：https://www ...
分类：
其他好文 时间：
2016-05-17 11:29:18
阅读次数：
461
我们在用Logstash收集日志的时候会碰到日志会错行，这个时候我们需要把错的行归并到上一行，使某条数据完整；也防止因为错行导致其他字段的不正确。
在Logstash-filter插件中，multiline插件可以解决这个问题，举个例子如下：
假如我们的日志形式如下：
2016-04-05 13:39:52.534 1.28.253.193 20160311090433074f5b47c04...
分类：
其他好文 时间：
2016-05-12 18:28:06
阅读次数：
669
项目中监控框架中用到JMXProxyBeat，在此学习已做记录。
官网文档位置https://github.com/radoondas/jmxproxybeat。
JMXProxyBeat
是一个简单的beat，检索tomcat jmx中的指标值的工具。检索出的数据提供给LogStash或者Elasticsearch呈现。jmx指标是通过在tomcat中配置“JMX Proxy Ser...
分类：
其他好文 时间：
2016-05-12 12:51:23
阅读次数：
271
