前记:去年测试了ELK,今年测试了Storm,最终因为Storm需要过多开发介入而放弃,选择了ELK。感谢互联网上各路大神,目前总算是正常运行了。logstash+elasticsearch+kibana的搭建参考:http://wsgzao.github.io/post/elk/。由于搭建过程比较...
分类:
其他好文 时间:
2015-11-04 14:45:47
阅读次数:
1693
Elasticsearch是一个分布式可扩展的实时搜索和分析引擎。它能帮助你搜索、分析和浏览数据,而往往大家并没有在某个项目一开始就预料到需要这些功能。Elasticsearch之所以出现就是为了重新赋予硬盘中看似无用的原始数据新的活力。 Elasticsearch每一个独立的部分都不是新创的。比如全文搜索早就已经被实现,统计系统和分布式数据库也早已存在。但是革命之处在于能将这些独立的功能结合成一...
分类:
其他好文 时间:
2015-11-03 13:50:10
阅读次数:
255
日志分析软件 secilog 1.17发布,增加了英文版本,对日志导入增加了日志机器ip和日志机器名,或者日志ip和日志域名的关系。上篇文章1.16,有兴趣可以了解一下。本次升级主要增加以下功能: 增加了英文版本。现在9...
分类:
其他好文 时间:
2015-11-03 12:45:50
阅读次数:
220
shell脚本用在什么地方编写常用系统维护工具菜单重要的性能参数、进程和日志分析自动实现数据备份计划自动批量搭建特定系统环境防火墙自动配置脚本服务器的配置文件安全比对对批量设备进行远程巡检
分类:
系统相关 时间:
2015-11-03 00:52:48
阅读次数:
168
近些年随着DevOps概念越来越收到重视,除了传统的Splunk,Zabbix外在开源领域也有越来越多的软件可供使用.从数据收集,时序数据库,图形展示等主要方面有各类可扩展的软件用于搭建一个数据监控平台(详细列表),Logstash+elasticsearch+kibana算是被写的比较多的,本.....
分类:
其他好文 时间:
2015-10-31 17:13:41
阅读次数:
671
Elasticsearch分组聚合 1.查询指定索引下每个A_logtype有多少数据 curl -XPOST ‘localhost:19200/ylchou-0-2015-10-07/_search?pretty‘ -d ‘ ? ? ? ? { ? ? ? ? ? "size": 0, ? ? ? ? ? "aggs": { ...
分类:
其他好文 时间:
2015-10-30 00:56:04
阅读次数:
381
如果是在服务器上就可以使用elasticsearch-servicewrapper这个es插件,它支持通过参数,指定是在后台或前台运行es,并且支持启动,停止,重启es服务(默认es脚本只能通过ctrl+c关闭es)。使用方法是到https://git...
分类:
其他好文 时间:
2015-10-27 13:40:47
阅读次数:
237
elasticsearch的config文件夹里面有两个配置文件:elasticsearch.yml和logging.yml,第一个是es的基本 配置文件,第二个是日志配置文件,es也是使用log4j来记录日志的,所以logging.yml里的设置按普通log4j配置文件来设置就行了。下面 主要讲解...
分类:
其他好文 时间:
2015-10-27 11:07:57
阅读次数:
220
之前写了收集linux系统历史history命令,下面介绍一下系统里日志收集与展示的。老规矩,先看效果,满意的话继续看。一、效果图1、总览2、linux系统日志收集数据总量主要是展示所选范围内容收集日志总量3、linux系统日志收集主机数主要是展示当前总共有多少台主机上传了message..
分类:
系统相关 时间:
2015-10-26 10:31:26
阅读次数:
327
开始之前,推荐大家去看看Eclipse shortcuts这篇文章,它将会给你带来很多方便。在本文中使用的是Eclipse Juno版(Eclipse 4.2),在开始前给大家提3点建议!不要使用System.out.println作为调试工具把所有涉及到的组件日志级别激活并使用使用日志分析器来读取...
分类:
编程语言 时间:
2015-10-26 01:52:25
阅读次数:
212