记录下从安装到正常使用过程中跳过的坑1、java环境的问题，可以装高版本但一定不能低于它的要求例：2、版本兼容性的问题，3个软件都可以从官网上下载，而且下面都会有注释要求其他软件的版本官网下载地址：https://www.elastic.co/downloads例：3、针对elasticsearch，有很多插..
分类：
其他好文 时间：
2016-08-11 23:09:04
阅读次数：
656
1.client.getPage 返回一个defer。 是异步的。#coding:utf8from twisted.internet import reactorfrom twisted.web import clientIP="202.102.224.68"def print_fun(x):pri... ...
分类：
其他好文 时间：
2016-08-08 15:44:46
阅读次数：
188
Kafka与Logstash的数据采集 基于Logstash跑通Kafka还是需要注意很多东西，最重要的就是理解Kafka的原理。 Logstash工作原理 由于Kafka采用解耦的设计思想，并非原始的发布订阅，生产者负责产生消息，直接推送给消费者。而是在中间加入持久化层——broker,生产者把数 ...
分类：
其他好文 时间：
2016-08-07 21:34:46
阅读次数：
125
单个进程 logstash 可以实现对数据的读取、解析和输出处理。但是在生产环境中，从每台应用服务器运行 logstash 进程并将数据直接发送到 Elasticsearch 里，显然不是第一选择：第一，过多的客户端连接对 Elasticsearch 是一种额外的压力；第二，网络抖动会影响到 log ...
分类：
其他好文 时间：
2016-08-04 13:10:28
阅读次数：
299
A,首先说说ELK是啥, ELK是ElasticSearch 、 Logstash 和 Kiabana 三个开源工具组成。Logstash是数据源,ElasticSearch是分析数据的,Kiabana是展示数据用的 B,开始搞 1,安装 Logstash 依赖包 JDK JDK 的安装方式比较简单 ...
分类：
其他好文 时间：
2016-08-02 18:51:48
阅读次数：
176
Logstash配置文档#vimuseTime.confinput{stdin{}}filter{grok{match=>{"message"=>
"\s+(?<API>调用.*(用时|异常)).*useTime=(?<useTime>\d+?)$"}}}output{stdout{codec=>rubydebug}}过滤正则表达示\s+(?<API>调用.*(用时|异常))
-->调用gz(广州..
分类：
其他好文 时间：
2016-07-31 00:23:20
阅读次数：
2407
Nlog、elasticsearch、Kibana以及logstash 前言 最近在做文档管理中，需要记录每个管理员以及用户在使用过程中的所有操作记录，本来是通过EF直接将操作数据记录在数据库中，在查询的时候直接从数据库中读取，但是这样太蠢了，于是在网上找到了logstash这NB的工具，和大家分享 ...
分类：
其他好文 时间：
2016-07-30 22:28:00
阅读次数：
127
一.ELK是什么？1.1ELK由来ELK是elasticsearch,logstash,kibana这三个工具的简称1.2ELK三个组件的介绍Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。Logstash是一个完..
分类：
其他好文 时间：
2016-07-29 23:08:16
阅读次数：
1296
实验环境：之前ELK已经初步安装完毕了，只需要将nginx的日志发送过来就可以了，nginx的IP为：192.168.137.101。因为服务端只是收集日志的所以下面的操作完全是在nginx机器上面完成的。在这里感谢《ELKstack权威指南》这本书，下面配置的内容都是借鉴的这本书。#/opt/logstash/b..
分类：
其他好文 时间：
2016-07-29 19:30:08
阅读次数：
2582
Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。Logstash是一个完全开源的工具，他可以对你的日志进行收集、分析，并将其存储供以后使用（如，搜索）。kibana也是一个..
分类：
其他好文 时间：
2016-07-29 19:12:58
阅读次数：
174
