接上一部分：一共81个，开源大数据处理工具汇总（上），第二部分主要收集整理的内容主要有日志收集系统、消息系统、分布式服务、集群管理、RPC、基础设施、搜索引擎、Iaas和监控管理等大数据开源工具。 日志收集系...
分类：
其他好文 时间：
2015-11-16 17:46:31
阅读次数：
309
基于插件的日志收集与处理模式，使得用户可以轻松的利用OSSIM来分析异构网络环境下的各种网络设备日志，下面展示一些硬件设备日志的实例，我们在RAW LOG界面里，搜索栏输入Cisco关键词，立即列出数据源中已有Cisco 路由器、防火墙、交换机等各种搜索条件，你只要知道硬件型号基本都能找到对应数据源...
分类：
其他好文 时间：
2015-11-12 11:22:12
阅读次数：
229
ELK即Elasticsearch+Logstash+Kibana组合，是一个开源分布式搜索平台，搭建该平台的目的就是为了方便的查询日志。Elasticsearch一个开源的搜索引擎框架，Logstash集成各种收集日志插件，还是一个比较优秀的正则切割日志工具；Kibana一个免费的web图形工具。安装架构如图所示，..
分类：
其他好文 时间：
2015-11-09 14:03:18
阅读次数：
412
本次安装的相关环境：Centos_x64_6.6redis2.8.23Elasticsearch2.0.0,Logstash2.0.0,Kibana4.2.0软件下载地址：redis：http://redis.io/download
Elasticsearch:wgethttps://download.elasticsearch.org/elasticsearch/release/org/elasticsearch/distribution/rpm/elasticsearc..
分类：
其他好文 时间：
2015-11-07 06:43:39
阅读次数：
1103
（一）logstash是什么？? logstash是一种分布式日志收集框架，开发语言是JRuby，当然是为了与Java平台对接，不过与Ruby语法兼容良好，非常简洁强大，经常与ElasticSearch，Kibana配置，组成著名的ELK技术栈，非常...
分类：
其他好文 时间：
2015-11-05 12:13:45
阅读次数：
223
logstash,elasticsearch,kibana 怎么进行nginx的日志分析呢？首先，架构方面，nginx是有日志文件的，它的每个请求的状态等都有日志文件进行记录。其次，需要有个队列，redis的list结构正好可以作为队列使用。然后...
分类：
其他好文 时间：
2015-11-05 10:51:47
阅读次数：
291
前记：去年测试了ELK，今年测试了Storm，最终因为Storm需要过多开发介入而放弃，选择了ELK。感谢互联网上各路大神，目前总算是正常运行了。logstash+elasticsearch+kibana的搭建参考：http://wsgzao.github.io/post/elk/。由于搭建过程比较...
分类：
其他好文 时间：
2015-11-04 14:45:47
阅读次数：
1693
之前写了收集linux系统历史history命令，下面介绍一下系统里日志收集与展示的。老规矩，先看效果，满意的话继续看。一、效果图1、总览2、linux系统日志收集数据总量主要是展示所选范围内容收集日志总量3、linux系统日志收集主机数主要是展示当前总共有多少台主机上传了message..
分类：
系统相关 时间：
2015-10-26 10:31:26
阅读次数：
327
<?phperror_reporting(E_ALL&~E_NOTICE);define(‘ELK_QUERY_RR_QUERY‘,‘{"query":{"filtered":{"query":{"query_string":{"analyze_wildcard":true,"query":"type:phptestkvANDreport_type:\"passport.codecreate\""}},"filter":{"bool":{"must":[{"range":{"@timestamp..
分类：
Web程序 时间：
2015-10-22 06:55:19
阅读次数：
173
<?phperror_reporting(E_ALL&~E_NOTICE);define(‘ELK_QUERY_RR_QUERY‘,‘{"query":{"filtered":{"query":{"query_string":{"analyze_wildcard":true,"query":"type:phptestkvANDreport_type:\"paycenter.dopayment\""}},"filter":{"bool":{"must":[{"range":{"@timestamp..
分类：
Web程序 时间：
2015-10-22 06:54:14
阅读次数：
165
