1. linux 系统中，给文件授予可执行权限的命令是（） A chownB mvC sudoD chmod2. 有一个文件ip.txt，每行一条ip记录，共若干行，下面哪个命令可以实现“统计出现次数最多的前3个ip及其次数”？ A uniq -c ip.txt│sort -nr│head -n 3 ...
分类：
其他好文 时间：
2018-02-21 16:33:35
阅读次数：
458
如何确定日志的级别 日志的分类 诊断日志、统计日志、审计日志 RequestID 在RequestID中尽量编码更多的信息 将一个请求的整个处理流程和唯一的requestID关联起来 日志中该记录什么 动态日志输出 慢操作日志 服务在接收到一个请求的时候，记录请求的接收时间（T1），在请求处理完成待 ...
分类：
其他好文 时间：
2017-10-30 19:55:52
阅读次数：
218
下面的shell演示了如何从大量的日志中取得想要的统计结果。其中展示了各种有趣的命令和shell的用法。 ...
分类：
系统相关 时间：
2017-10-20 20:10:32
阅读次数：
254
日志文件是每日一个。统计日志文件中的关键字，获取每日浏览次数。将次数保存到txt文件中。。 将日期也一并保存到txt文件中。 输入开始日期和结束日期，就可以统计出每日的次数 代码如下： 运行文件./dateup.sh 20171009 20171010 打开zsy.txt,可以看到其中内容如下： 2 ...
分类：
系统相关 时间：
2017-10-10 10:06:52
阅读次数：
180
原文地址 :https://segmentfault.com/a/1190000004136250需求背景：有个调用统计日志存储和统计需求，要求存储到mysql中；存储数据高峰能达到日均千万，瓶颈在于直接入库并发太高，可能会把mysql干垮。 问题分析 思考：应用网站架构的衍化过程中，应用最新的框架 ...
分类：
数据库 时间：
2017-08-30 11:54:46
阅读次数：
188
日志滚动，每分钟统计一次对应的数据。 待续 ...
分类：
其他好文 时间：
2017-07-05 16:39:29
阅读次数：
147
以下代码用Pyspark+IPython完成统计日志空行的数量：读取日志，创建RDD：myrdd=sc.textFile("access.log")不使用累加器：In[68]:s=0
In[69]:deff(x):
...:globals
...:iflen(x)==0:
...:s+=1
...:
In[70]:myrdd.foreach(f)
In[71]:print(s)得出结果为：0原因是python的变量，即..
分类：
其他好文 时间：
2017-06-21 19:50:47
阅读次数：
150
log基本行为：mymempoolnewcalled,return:0xd20c50,size:#32#,cnt:633需要取所有行的size后面的数值统计数量并排序：catlog|awk-F"#"‘{print$2}‘|sort-n|uniq-c|sort-rnsort-n:按数值排序uniq-c:统计数据，把相同行合并，前面是相同行的数量sort-rn:再次按数值反向排序(最大值..
分类：
其他好文 时间：
2017-06-14 11:29:28
阅读次数：
109
cat主要有三大功能： 1.一次显示整个文件。 $ cat filename 2.从键盘创建一个文件。 $ cat > filename 只能创建新文件,不能编辑已有文件. 3.将几个文件合并为一个文件。 $cat file1 file2 > file 功能说明：计算字数。 语 法：wc [-clw ...
分类：
系统相关 时间：
2017-06-12 13:14:58
阅读次数：
251
原文地址：http://blog.csdn.net/whzhaochao/article/details/72416956写在前面学习Scala和Spark基本语法比较枯燥无味，搞搞简单的实际运用可以...
分类：
其他好文 时间：
2017-05-18 09:45:51
阅读次数：
251
