1、批处理 传统消息中间件，一次只发送单挑消息；kafka，一次发送多条消息，微批处理。 2、数据压缩 日志格式，数据压缩，snappy， 3、顺序写入 只在log文件末尾追加 4、分区 参考： (1)https://mp.weixin.qq.com/s/G5nfLpPOr80pk1sHzrLuOA ...
分类：
其他好文 时间：
2020-04-30 09:49:07
阅读次数：
61
Sun Apr 19 08:54:42 2020 1 10.0.0.53 908 /pub/test/passwd b _ i a ? ftp 0 * c current-time The current local time in the form "DDD MMM dd hh:mm:ss YYY ...
分类：
其他好文 时间：
2020-04-19 11:11:05
阅读次数：
71
varnish作为一款优秀的缓存中间件，在电商网站上大量使用，可以大大加快静态页面的访问速度 那么，如何统计varnish的缓存命中率呢 1、首先必须确保日志中记录了hit or miss 需要调整启动脚本中的日志格式 ${path_varnish}/bin/varnishncsa -D -n na ...
分类：
其他好文 时间：
2020-04-12 10:38:38
阅读次数：
95
注：图片如果损坏，点击文章链接：https://www.toutiao.com/i6806672112477012493/ 在linux中nginx日志产生的格式是下面的配置： $remote_addr^A$msec^A$http_host^A$request_uri 然后准备好了获取的日志数据 创 ...
分类：
其他好文 时间：
2020-03-21 23:38:07
阅读次数：
82
https://www.cnblogs.com/lnas01/p/5978439.html 背景：线上有一个推荐服务，日志量比较大，想确认下是不是qps过高 问题：如何根据日志查看一个服务的qps tail f XXX.log，可以发现日志格式如下： [8708 10 14:51:44 638 IN ...
分类：
其他好文 时间：
2020-03-21 23:11:10
阅读次数：
90
WEB正确日志格式分析 域 内容 含义 $1 192.168.1.5 远程主机IP %h $2 - 占位符 %l $3 - 占位符 %u $4 21/Mar/2020:16:34:53 服务器完成请求处理时间，日/月/年：小时：分钟：秒：时区 %t $5 +0800 时区 $6 GET 方法 $7 ...
分类：
Web程序 时间：
2020-03-21 17:53:19
阅读次数：
89
1. 概述 1. 尝试调整 apache 的日志模式 2. 背景 1. 初学 apache 3. 环境 1. 虚拟机 OS 1. VirtualBox6.0 2. CentOS7.2 2. apache 1. 2.4.6 90 2. yum 安装 3. 宿主机 OS 1. Win10 4. 网络 1 ...
分类：
Web程序 时间：
2020-03-09 00:42:43
阅读次数：
91
1,通过设置环境变量"TF_CPP_MIN_LOG_LEVEL"控制log级别 Level Level for Humans Level Description 0 DEBUG all messages are logged (Default) 1 INFO INFO messages are no ...
分类：
其他好文 时间：
2020-02-21 14:46:11
阅读次数：
79
1 课程讲解 1.0 频次 1.1 类型： 1.2 定义： 1.3 适用场景： 1.4 优点： 1.5 缺点： 1.6 其他特性： 1.7 与其他设计模式关系： 1 课程讲解 1.0 频次： 使用频次很低，理解就可以，重点关注其他的设计模式 1.1 类型： 行为型 1.2 定义： ·定义：给定一个语 ...
分类：
其他好文 时间：
2020-02-15 09:49:10
阅读次数：
60
介绍 GoAccess是一个开源的 实时网络日志分析器 和 交互式查看器 ，可以在 nix 系统或通过 浏览器 的终端中运行。 它为需要动态可视化服务器报告的系统管理员提供 快速 且有价值的 HTTP统计 信息。 特征 GoAccess的一些功能 1.实时输出 2.允许任何自定义日志格式字符串 3. ...
分类：
数据库 时间：
2020-02-13 23:00:42
阅读次数：
107
