由于logstash会自动将@timestamp时间转成UTC时间，网上搜了很多种方法无果后。只好从日志中提取年月日来进行按北京时间分表。日志格式JSON:{"@timestamp":"2016-08-22T09:13:06.024Z",......}input{
redis{
host=>"192.168.1.21"
port=>"6379"
key=>"filebeat"
data_..
分类：
其他好文 时间：
2016-08-22 23:46:36
阅读次数：
1204
此文只是logstash的简单入门，作者也只是简单了解logstash，本文只能简单介绍logstash，对完全不懂logstash是啥的人做个引导，因为我就是这样过来的~ 1.logstash是什么？有什么用? 在网上搜索logstash，搜索结果中logstash一般是和elasticsearc ...
分类：
其他好文 时间：
2016-08-19 01:03:57
阅读次数：
459
最近在使用Lostash的过程中遇到了一个问题：在一个log文件里包含两类数据，而且两类数据之间存在父子关系，那如何使用lostash的configuration实现这个需求呢 思路： 在此要感谢elastic官方论坛的一个帖子:"keep global variable in logstash"， ...
分类：
其他好文 时间：
2016-08-19 00:38:28
阅读次数：
1476
近发现elasticsearch近期索引文件大的吓人，清理了下之前的索引文件，发现服务器性能大大的减轻了一半，想一直保留近一个月的索引文件，但是又不想每个月手动清楚，在此写了一个小脚本一、手动删除rm-rf*2016-07-*二、api删除curl-XDELETE‘http://127.0.0.1:9200/logstash-2016..
分类：
其他好文 时间：
2016-08-17 23:30:10
阅读次数：
1211
es集群里的masternode、datanode和clientnode到底是怎么个意思，分别有何特点？master节点主要功能是维护元数据，管理集群各个节点的状态，数据的导入和查询都不会走master节点，所以master节点的压力相对较小，因此master节点的内存分配也可以相对少些；但是master节点是最重..
分类：
其他好文 时间：
2016-08-12 22:18:52
阅读次数：
8282
es集群里的masternode、datanode和clientnode到底是怎么个意思，分别有何特点？master节点主要功能是维护元数据，管理集群各个节点的状态，数据的导入和查询都不会走master节点，所以master节点的压力相对较小，因此master节点的内存分配也可以相对少些；但是master节点是最重..
分类：
其他好文 时间：
2016-08-12 22:18:12
阅读次数：
173
http://www.cnblogs.com/mchina/p/linux-centos-rsyslog-loganalyzer-mysql-log-server.html ...
分类：
数据库 时间：
2016-08-12 15:20:18
阅读次数：
172
1、介绍elk是实时日志分析平台，主要是为开发和运维人员提供实时的日志分析，方便人员更好的了解系统状态和代码问题。2、elk中的e（elasticsearch）:（2.1）先安装依赖包，官方文档说明使用java1.8yum-yinstalljava-1.8.0-openjdk安装elasticsearch：tarzvxfelasticsearch-1.7...
分类：
其他好文 时间：
2016-08-11 23:30:29
阅读次数：
814
记录下从安装到正常使用过程中跳过的坑1、java环境的问题，可以装高版本但一定不能低于它的要求例：2、版本兼容性的问题，3个软件都可以从官网上下载，而且下面都会有注释要求其他软件的版本官网下载地址：https://www.elastic.co/downloads例：3、针对elasticsearch，有很多插..
分类：
其他好文 时间：
2016-08-11 23:09:04
阅读次数：
656
Kafka与Logstash的数据采集 基于Logstash跑通Kafka还是需要注意很多东西，最重要的就是理解Kafka的原理。 Logstash工作原理 由于Kafka采用解耦的设计思想，并非原始的发布订阅，生产者负责产生消息，直接推送给消费者。而是在中间加入持久化层——broker,生产者把数 ...
分类：
其他好文 时间：
2016-08-07 21:34:46
阅读次数：
125
