在搭建Elasticsearch数据库的过程中，首先使用了其推荐的Logstash工具导入数据，但是用起来非常不顺手，所以想用Perl擅长的正则表达式对数据进行过滤分类，然后导入Elasticsearch，于是搜索CPAN找到了Search::Elasticsearch模块。该模块在CPAN上的文档写的比较简洁，于是将使用..
分类：
其他好文 时间：
2016-12-09 01:26:18
阅读次数：
504
sudo配合syslog日志审计说明：所谓sudo命令日志审计，并不记录普通用户的普通操作，而是记录那些执行sudo命令的用户操作一、安装sudo命令，syslog服务（centos6.5为rsyslog服务）[root@BaseServer~]#rpm-qa|egrep"sudo|syslog"rsyslog-5.8.10-8.el6.i686sudo-1.8.6p3-12.el6.i6..
分类：
其他好文 时间：
2016-12-09 01:06:31
阅读次数：
175
查看一下agent端的shipper的配置： 先简测一下刚配好的shipper： 可以看到没有报错，接下来启动logstash并指定刚才配置好的配置文件： 再看看所监控的log日志的内容： 发现 这个shipper启动的时候会从头到尾，把配置文件全读一边（这种效里也是从配置文件中配置好的） 再看一下 ...
分类：
Web程序 时间：
2016-12-08 20:50:44
阅读次数：
335
技术栈线:1.支持灵活的处理方式,Elasticsearch是实时全文索引,无需像其它的产品样预先编程才能实现2.支持简单的配置方式,Elasticsearch是全部采用JSON接口,Logstash是RubyDSL设计,都是通用配置语法3.支持高效的数据检索,虽然每次查询都是实时计算,但基本上可以实现全天数据查询..
分类：
其他好文 时间：
2016-12-07 23:47:58
阅读次数：
432
一、简介1、核心组成ELK由Elasticsearch、Logstash和Kibana三部分组件组成；Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。Logstash是一个完全开源的工具，它可以对你..
分类：
其他好文 时间：
2016-12-06 14:59:54
阅读次数：
266
一、ELK简介1、组成ELK是Elasticsearch、Logstash、Kibana三个开源软件的组合。在实时数据检索和分析场合，三者通常是配合使用，而且又都先后归于 Elastic.co 公司名下，故有此简称。Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发 ...
分类：
其他好文 时间：
2016-12-05 19:23:01
阅读次数：
229
公司ELK系统目前的设置是每月自动将日志信息记录至新的索引中，将日志数据按月分索引保存，在扩展的ELK架构中，利Logstash对接rabbitmq，获取日志消息，自动持久化至Elasticsearch。而Elasticsearch存在一个关键问题就是索引的设置及字段的属性指定，最常见的问题就是，某 ...
分类：
其他好文 时间：
2016-12-05 16:56:59
阅读次数：
233
上面的两张图是elk的一个架构 下面是对logstash分析：如下图 可以看出 logstash的一个角色shipper，(是通过配置文件来决定logstash是shipper还是indexer)注意:logstash共有两个角色一个是shipper,另一个是indexer shipper:是日志收 ...
分类：
其他好文 时间：
2016-12-04 19:35:02
阅读次数：
183
日志服务器配置：$EscapeControlCharactersOnReceiveoff$ActionForwardDefaultTemplateRSYSLOG_ForwardFormat$templateRemoteLogs,"/rsyslog/nginx_1/nginx_access_log.%$year%-%$month%-%$day%"local5.*?RemoteLogs客户端配置：$ModLoadimfile$InputFileName/usr/local/nginx/..
分类：
其他好文 时间：
2016-12-03 02:53:05
阅读次数：
527
Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。Logstash是一个完全开源的工具，他可以对你的日志进行收集、分析，并将其存储供以后使用（如，搜索）kibana也是一个开..
分类：
其他好文 时间：
2016-12-03 02:39:30
阅读次数：
337
