说明:本文只是对相应的功能进行简介,并不会具体介绍部署方案,因为所有的包都是使用的tar.gz格式解压直接可用的,如果有什么不懂的地方或是本人有说错的地方,欢迎大家提问和质疑,也欢迎大家一起交流学习。环境:OS:ubuntu14.0Kernel:3.13.0-24-genericlogstash:1.5.1elastic..
分类:
其他好文 时间:
2015-07-08 14:52:19
阅读次数:
187
1、首先,例如,下面的数据被提交给ES该指数{"number":32768,"singer":"杨坤","size":"5109132","song":"今夜二十岁","tag":"中国好声音","timelen":319}{"number":32769,"singer":"汪峰","size":"...
分类:
其他好文 时间:
2015-07-07 22:31:05
阅读次数:
139
最近在做日志分析这块儿,要使用 Logstash+Elasticsearch+Kibana 实现日志的导入、过滤及可视化管理,官方文档写的不够详细,网上的文章大多要么是针对Linux系统的用法,要么就是抄袭别人的配置大都没法运行。费了很大劲才搞定了这仨东西,写一篇用法心得,废话不多说,进入主题。
首先,你的电脑上要装Java 的JDK环境,要使用 Logstash+Elastic...
今天给大家介绍一个开源的分布式搜索引擎Elasticsearch。一、ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎, 基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,...
分类:
其他好文 时间:
2015-07-06 15:56:56
阅读次数:
142
Elasticsearch中使用groovy脚本获取文档的bool字段值时,得到的值是字符的'T'或者'F',而不是bool值true和false。比如文档中有一个字段是{ "bool_value":true}然后用这个字段判断时候得写成if (doc['bool_value'].value ==....
分类:
其他好文 时间:
2015-07-03 18:45:39
阅读次数:
150
介绍
这套系统,logstash负责收集处理日志文件内容存储到elasticsearch搜索引擎数据库中。kibana负责查询elasticsearch并在web中展示。
logstash收集进程收获日志文件内容后,先输出到redis中缓存,另一logstash处理进程从redis中读出并转存到elasticsearch中,以解决读快写慢速度不一致问题。...
分类:
其他好文 时间:
2015-06-30 12:55:52
阅读次数:
204
一. 监控系统选型1. nagio, 2. zabbix,3. nagios + cacti,4. 小米刚开源了自己的监控系统 open-falcon 可以看看二. 纯日志采集与分析使用ELK, 三件套的使用。
分类:
其他好文 时间:
2015-06-26 21:01:54
阅读次数:
108
配置OSSECSYSLOG输出(所有agent)编辑ossec.conf文件(默认为/var/ossec/etc/ossec.conf)在ossec.conf中添加下列内容(10.0.0.1为接收syslog的服务器)<syslog_output>
<server>10.0.0.1</server>
<port>9000</port>
<format>default<..
分类:
其他好文 时间:
2015-06-26 13:10:13
阅读次数:
300
因公司数据安全和分析的需要,故调研了一下 GlusterFS + lagstash + elasticsearch + kibana 3 + redis 整合在一起的日志管理应用:安装,配置过程,使用情况等续一,glusterfs分布式文件系统部署:说明:公司想做网站业务日志及系统日志统一收集和.....
分类:
其他好文 时间:
2015-06-25 00:08:21
阅读次数:
384