因为 nodejs 一般会部署在多台机器，并且每台机器会起多个进程，因此查看日志时往往要人工区分一个完整的请求包含哪些行。如果在日志中添加 服务器名称和进程id，就比较容易了。 如果在 filebeat 配置中修改正则表达式肯定是可以完成这个工作的，但今天发现 log4js（1.1.1版本） 的模块 ...
分类：
Web程序 时间：
2017-03-10 20:25:15
阅读次数：
730
3、kafka+logstash整合logstash1.5以后已经集成了对kafka的支持扩展，可以在conf配置中直接使用 vim /etc/logstash/conf.d/pay.conf input { kafka{ zk_connect => "your zookeeper address: ...
分类：
其他好文 时间：
2017-03-10 19:09:43
阅读次数：
371
1、ELK介绍 ELK不是一款软件，而是elasticsearch+Logstash+kibana三款开源软件组合而成的日志收集处理套件，堪称神器。其中Logstash负责日志收集，elasticsearch负责日志的搜索、统计，而kibana则是ES的展示神器，前端炫丽，点几下鼠标简单配置，就可以 ...
分类：
其他好文 时间：
2017-03-09 17:17:29
阅读次数：
339
1概述ELK套件（ELKstack）是指ElasticSearch、Logstash和Kibana三件套。这三个软件可以组成一套日志分析和监控工具。由于三个软件各自的版本号太多，建议采用ElasticSearch官网推荐的搭配组合：http://www.elasticsearch.org/overview/elkdownloads/2环境准备2.1软件要求具体的..
分类：
其他好文 时间：
2017-03-08 01:38:35
阅读次数：
220
假设日志文件中的每一行记录格式为json的，如： 默认配置下，logstash处理插入进elasticsearch后，查到的结果是这样的： 即会将json记录做为一个字符串放到”message”下，但是我是想让logstash自动解析json记录，将各字段放入elasticsearch中。有三种配置 ...
分类：
Web程序 时间：
2017-03-08 00:59:06
阅读次数：
1104
日志是supervisor打出来的python日志，且把不同格式的日志打印到了同一批文件里，需求是把带post和ERROR关键字的日志分离，并进入两个不同kafka的topic队列，目前的情况是rsyslog已经收集了nginx的访问日志，不能相互影响，就是说不能直接用if判断做分离，因为可能会日志混掉。..
分类：
其他好文 时间：
2017-03-06 22:32:48
阅读次数：
200
环境说明架构说明及架构图filebeat部署在客户端用于收集日志并把收集到的日志发送到logstash.logstash把收集到的日志处理之后交给elasticsearch.kibana从elasticsearch中提取数据并进行展示.之所以使用filebeat进行日志收集是因为filebeat不会像logstash使用大量的资源,影响业..
分类：
其他好文 时间：
2017-03-03 14:06:59
阅读次数：
540
ELK平台介绍 在搜索ELK资料的时候，发现这篇文章比较好，于是摘抄一小段： 以下内容来自： http://baidu.blog.51cto.com/71938/1676798 日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错 ...
分类：
其他好文 时间：
2017-02-26 10:44:01
阅读次数：
219
[root@mail2 log]# cat /etc/rsyslog.conf | grep -E -v '(^$|^#)' $ModLoad imuxsock # provides support for local system logging (e.g. via logger command) ...
分类：
其他好文 时间：
2017-02-25 18:57:40
阅读次数：
292
