在这里,以两台es集群为例。 es集群健康状况有三种状态,这里我们搭建的es集群,只要两台不同时挂掉,数据不会丢失。 举个例子: 比如说现在集群节点es1位主节点,es2位复制分片节点,默认情况下,两台es都接收logstash传过来的日志,是负载均衡的。 如果es1宕掉,es2会被提升为主节点,只 ...
分类:
其他好文 时间:
2016-11-29 13:36:15
阅读次数:
484
logstash是java应用,依赖JDK,首先需要安装JDK,在安装jdk过程中,logstash-2.3.4使用JDK-1.7版本有bug,使用JDK-1.8版本正常,因此我们安装JDK-1.8版本。 安装JDK 官网地址:http://www.oracle.com/technetwork/ja ...
分类:
其他好文 时间:
2016-11-29 11:34:58
阅读次数:
247
ELK日志分析之安装 1.介绍: NRT elasticsearch是一个近似实时的搜索平台,从索引文档到可搜索有些延迟,通常为1秒。 集群 集群就是一个或多个节点存储数据,其中一个节点为主节点,这个主节点是可以通过选举产生的,并提供跨节点的联合索引和搜索的功能。集群有一个唯一性标示的名字,默认是e ...
分类:
其他好文 时间:
2016-11-28 23:29:53
阅读次数:
290
redis作为logstash中的官方broker,既有input插件,还有output插件。 redis input插件 data_type属性: 有三种类型, list -》 BLPOP --阻塞式列表弹出 channel -》 SUBSCRIBE -- 指定订阅者 pattern_channe ...
分类:
其他好文 时间:
2016-11-26 20:55:03
阅读次数:
206
input{file{type=>"erp_log"path=>"/var/log/nginx/catalina.out"start_position=>"beginning"codec=>multiline{pattern=>"^%{YEAR}-%{MONTHNUM}-%{MONTHDAY}%{HOUR}:?%{MINUTE}(?::?%{SECOND})"negate=>truewhat=>"previous"}}}output{redis{port=>63..
分类:
其他好文 时间:
2016-11-26 00:27:02
阅读次数:
521
ELK其实并不是一款软件,而是一整套解决方案,是三个开源软件Elasticsearch,Logstash和Kibana。 Elasticsearch是一个实时的分布式搜索和分析引擎,它可以用于全文搜索以及分析。它是一个建立在全文搜索引擎ApacheLucene基础上的搜索引擎,便用java语言编写。 ...
分类:
其他好文 时间:
2016-11-24 06:51:05
阅读次数:
295
选择需求分类废话少说直接上图 第一张图: 2.此图搭配的日志格式是: log_format main '$remote_addr - $remote_user [$time_local] $http_host $request_method "$uri" "$query_string" ' '$st ...
分类:
其他好文 时间:
2016-11-20 23:08:04
阅读次数:
488
zabbix解决中文乱码问题 1、在windows系统中找一个自己喜欢的字体,这里我们用:msyh.ttf 2、将字体上传至/var/www/html/zabbix/fonts目录下 [root@zabbix-server ~]# cd /var/www/html/zabbix/fonts/ [ro ...
分类:
系统相关 时间:
2016-11-20 18:46:25
阅读次数:
547
由于直接复制粘贴有问题,所以给出链接: http://note.youdao.com/share/?id=6dfb1f03240e156c1db4a56c85e3b6db&type=note#/ 参考URL:http://www.cnblogs.com/xing901022/p/5259750.ht ...
分类:
其他好文 时间:
2016-11-18 11:56:50
阅读次数:
147
待处理日志格式如下:[totalCount: 298006556, count: 287347623, queryCount: 259027994, exeCount: 28319629, total...
分类:
其他好文 时间:
2016-11-18 00:25:12
阅读次数:
160