最近在使用Lostash的过程中遇到了一个问题：在一个log文件里包含两类数据，而且两类数据之间存在父子关系，那如何使用lostash的configuration实现这个需求呢 思路： 在此要感谢elastic官方论坛的一个帖子:"keep global variable in logstash"， ...
分类：
其他好文 时间：
2016-08-19 00:38:28
阅读次数：
1476
近发现elasticsearch近期索引文件大的吓人，清理了下之前的索引文件，发现服务器性能大大的减轻了一半，想一直保留近一个月的索引文件，但是又不想每个月手动清楚，在此写了一个小脚本一、手动删除rm-rf*2016-07-*二、api删除curl-XDELETE‘http://127.0.0.1:9200/logstash-2016..
分类：
其他好文 时间：
2016-08-17 23:30:10
阅读次数：
1211
es集群里的masternode、datanode和clientnode到底是怎么个意思，分别有何特点？master节点主要功能是维护元数据，管理集群各个节点的状态，数据的导入和查询都不会走master节点，所以master节点的压力相对较小，因此master节点的内存分配也可以相对少些；但是master节点是最重..
分类：
其他好文 时间：
2016-08-12 22:18:52
阅读次数：
8282
es集群里的masternode、datanode和clientnode到底是怎么个意思，分别有何特点？master节点主要功能是维护元数据，管理集群各个节点的状态，数据的导入和查询都不会走master节点，所以master节点的压力相对较小，因此master节点的内存分配也可以相对少些；但是master节点是最重..
分类：
其他好文 时间：
2016-08-12 22:18:12
阅读次数：
173
1、介绍elk是实时日志分析平台，主要是为开发和运维人员提供实时的日志分析，方便人员更好的了解系统状态和代码问题。2、elk中的e（elasticsearch）:（2.1）先安装依赖包，官方文档说明使用java1.8yum-yinstalljava-1.8.0-openjdk安装elasticsearch：tarzvxfelasticsearch-1.7...
分类：
其他好文 时间：
2016-08-11 23:30:29
阅读次数：
814
记录下从安装到正常使用过程中跳过的坑1、java环境的问题，可以装高版本但一定不能低于它的要求例：2、版本兼容性的问题，3个软件都可以从官网上下载，而且下面都会有注释要求其他软件的版本官网下载地址：https://www.elastic.co/downloads例：3、针对elasticsearch，有很多插..
分类：
其他好文 时间：
2016-08-11 23:09:04
阅读次数：
656
Kafka与Logstash的数据采集 基于Logstash跑通Kafka还是需要注意很多东西，最重要的就是理解Kafka的原理。 Logstash工作原理 由于Kafka采用解耦的设计思想，并非原始的发布订阅，生产者负责产生消息，直接推送给消费者。而是在中间加入持久化层——broker,生产者把数 ...
分类：
其他好文 时间：
2016-08-07 21:34:46
阅读次数：
125
单个进程 logstash 可以实现对数据的读取、解析和输出处理。但是在生产环境中，从每台应用服务器运行 logstash 进程并将数据直接发送到 Elasticsearch 里，显然不是第一选择：第一，过多的客户端连接对 Elasticsearch 是一种额外的压力；第二，网络抖动会影响到 log ...
分类：
其他好文 时间：
2016-08-04 13:10:28
阅读次数：
299
A,首先说说ELK是啥, ELK是ElasticSearch 、 Logstash 和 Kiabana 三个开源工具组成。Logstash是数据源,ElasticSearch是分析数据的,Kiabana是展示数据用的 B,开始搞 1,安装 Logstash 依赖包 JDK JDK 的安装方式比较简单 ...
分类：
其他好文 时间：
2016-08-02 18:51:48
阅读次数：
176
Logstash配置文档#vimuseTime.confinput{stdin{}}filter{grok{match=>{"message"=>
"\s+(?<API>调用.*(用时|异常)).*useTime=(?<useTime>\d+?)$"}}}output{stdout{codec=>rubydebug}}过滤正则表达示\s+(?<API>调用.*(用时|异常))
-->调用gz(广州..
分类：
其他好文 时间：
2016-07-31 00:23:20
阅读次数：
2407
