ELK+Filebeat+Kafka+ZooKeeper 构建海量日志分析平台
分类：
其他好文 时间：
2018-03-23 15:26:39
阅读次数：
252
应用场景：ELK实际上是三个工具的集合，ElasticSearch + Logstash + Kibana，这三个工具组合形成了一套实用、易用的监控架构， 很多公司利用它来搭建可视化的海量日志分析平台。 官网下载地址：https://www.elastic.co/downloads Elastics ...
分类：
其他好文 时间：
2018-03-22 12:39:02
阅读次数：
578
secure.sh是一个通过访问日志分析恶意IP并用iptables -A INPUT -s IP -j DROP封IP的脚本问题：在命令行执行sh secure.sh脚本执行没有问题，但是将脚本添加进计划任务后，脚本能执行，但是不能封掉IP。原因：环境变量问题解决办法：在脚本开头添加语句 sour ...
分类：
其他好文 时间：
2018-03-19 19:02:07
阅读次数：
179
架构 上图为http://www.cnblogs.com/delgyd/p/elk.html#3656833 中的图架构解读 : （整个架构从左到右，总共分为5层）（本文将第三层以下的进行了合并，无elasticsearch集群） 第一层、数据采集层最左边的是业务服务器集群，上面安装了filebeat做日志采集，同时把采集的日志分别发
分类：
其他好文 时间：
2018-03-14 22:07:04
阅读次数：
216
知识部分·什么是AWStats：AWStats分析系统是使用Perl语言开发的一款开源日志分析系统。可用于分析Apache、Samba、Vsftpd、IIS等服务的日志信息。也可以结合crond等计划任务，不断对增长的日志进行定期分析。操作步骤1、解压软件包，并将文件移动到/usr/local下2、为要统计的站点建立配置文件。首先切换到../awstats/tools下，授予awstats_con
分类：
其他好文 时间：
2018-03-09 15:33:05
阅读次数：
170
笔记内容：搭建ELK日志分析平台——安装kibana和logstash笔记日期：2018-03-0327.6安装kibana27.7安装logstash27.8配置logstash27.9kibana上查看日志27.10收集nginx日志27.11使用beats采集日志本文是上一篇ELK介绍及搭建Elasticsearch分布式集群的后续。安装kibana由于上一篇中我们已经配置过yum源，这里就
分类：
其他好文 时间：
2018-03-04 21:16:19
阅读次数：
291
Linux系统拥有非常灵活和强大的日志功能，可以保存几乎所有的操作记录，并可以从中检索出我们需要的信息。 大部分Linux发行版默认的日志守护进程为 syslog，位于 /etc/syslog 或 /etc/syslogd 或/etc/rsyslog.d，默认配置文件为 /etc/syslog.co ...
分类：
系统相关 时间：
2018-03-03 23:27:31
阅读次数：
303
（本文已不再同步更新，最新代码请见github）日志分析在web系统中故障排查、性能分析方面有着非常重要的作用。目前，开源的ELK系统是成熟且功能强大的选择。但是部署及学习成本亦然不低，这里我实现了一个方法上相对简单（但准确度和效率是有保证的）的实现。另外该脚本的侧重点不是通常的PV，UV等展示，而是短期内（如三天历史or一周历史）提供细粒度的异常和性能分析。先说一下我想实现这个功能的驱动力（痛点
分类：
数据库 时间：
2018-03-02 12:36:10
阅读次数：
252
