Nginx日志配置 参考文档：Nginx基本配置和日志处理 Nginx 日志配置不同位置的不同含义： 在 nginx 配置文件的最外层，我们可以配置 error_log，这个 error_log 能够记录 nginx 启动过程中的异常，也能记录日常访问过程中遇到的错误。 在 http 段中可以配置 ...
分类：
其他好文 时间：
2020-07-04 15:02:45
阅读次数：
52
elk系统logstash日志处理端使用lvs做的负载均衡，端口监控发现logstash节点因为最大文件数到达限制挂了一台，lvs不知道后端的logstash挂了。看告警虚拟IP恢复是因为转发到正常的节点了，端口监控后续就一直告警波动恢复告警--！，因为lvs没有移除故障节点，处理不及时，丢的数据就多了。这边用利用ssh免密做的监控，后端RealServer不能禁止lvs禁止访问22端口，lvs定
分类：
其他好文 时间：
2020-06-22 19:11:06
阅读次数：
82
在settings/dev.py文件中追加如下配置： 日志配置 LOGGING = { 'version': 1, # 使用的python内置的logging模块，那么python可能会对它进行升级，所以需要写一个版本号，目前就是1版本 'disable_existing_loggers': Fal ...
分类：
其他好文 时间：
2020-05-26 20:16:04
阅读次数：
61
简述 为什么flask会自动打印请求access log ? 为什么flask会出现重复打印或不打印的问题？ supervisor + gunicorn + flask的部署组合到底哪个组件在打印？ 开发模块应该怎样配置日志？ python日志模块的逻辑 官方文档的日志处理流程。 logging模块 ...
分类：
编程语言 时间：
2020-05-17 23:11:45
阅读次数：
128
一般的处理方式，是建立一个正则表达式列表，依次尝试匹配，成功则返回，这种方式往往会遇到性能问题 同样的样本数据， 用传统的newlogp方式仅做re部分，用hp做先定位后匹配，后者有明显的优势 ubuntu@VM-0-13-ubuntu:~/highperf_re$ time python norm ...
分类：
其他好文 时间：
2020-05-13 00:26:43
阅读次数：
71
利用Python3脚本语言的简练语法，高级语言的丰富类库，快速写了几个文件读取、筛选、导出的“脚本”。 这里简单总结一下关键功能。 读取ini配置文件 检查ini文件是否存在；检查输入的key在ini文件里是否有定义。 1 import configparser 2 4 def getConfigI ...
分类：
编程语言 时间：
2020-05-08 18:42:41
阅读次数：
105
ELK架构日志处理逻辑：1、业务层Filebeat安装时会自动获取主机运行站点域名及环境信息新增channel及env标签，并将channel的值作为kafka的topic信息2、Kafka收到Filebeat的新增字段及Topic信息，自动创建Topic信息，以等待logstash消费3、Logstash根据脚本自动生成input及output配置这里的topic一定和filebeat的chan
分类：
其他好文 时间：
2020-05-05 21:56:19
阅读次数：
81
一、消息中间件的介绍 介绍 ? 消息队列 是指利用 高效可靠 的 消息传递机制 进行与平台无关的 数据交流，并基于 数据通信 来进行分布式系统的集成。 特点(作用) 应用解耦 异步通信 流量削峰 (海量)日志处理 消息通讯 …... 应用场景 根据消息队列的特点，可以衍生出很多场景，或者说很多场景都 ...
分类：
其他好文 时间：
2020-05-03 13:08:26
阅读次数：
66
一、前言 在项目开发的过程中，日志是必不可少的一部分，可以帮我们定位异常，分析错误原因等功能，log4net是.Net下一个非常优秀的开源日志记录组件。log4net记录日志的功能非常强大。它可以将日志分不同的等级，以不同的格式，输出到不同的媒介。本文主要是介绍在前几篇已经创建好的项目里加上日志处理 ...
