grep -r 'GET /weixin/weixin_izp/index.html' ./chunyun.access.log > ~/access.logcat access.log |awk '{print $1}'|cut -d, -f3|sort|uniq -c > mycount.lo....
分类：
其他好文 时间：
2014-12-11 11:41:25
阅读次数：
197
最近从数据库中导出了230万条文本文件格式的数据记录。开了台freebsd虚拟机。ram256Mb，cpu1core。其实就是测试在相同的硬件环境下，grep，sed，awk（nawk）三个工具的搜索文件的效率。搜索结果：[root@ServerA/var]#timegrep18921373250vo.txt//grep第一次搜索/20101220/10000..
分类：
其他好文 时间：
2014-12-10 14:30:56
阅读次数：
212
废话不说，直接上图（第一个是python写的脚本，第二个和第三个是shell）：文件是一份nginx的log文件，总共583万行，然后是统计各个ip出现次数，各个脚本的执行时间如上所示。测试环境是：centos6.5，四核cpu，8g内存。下面是python脚本结果是：单核情况下，awk自增运算最快，py..
分类：
编程语言 时间：
2014-12-09 19:58:00
阅读次数：
216
sed-i"s/`echo-e\\\t`/,/g"123456.txtcat./123456.txt|whilereadlinedosd=`echo$line|awk-F,‘{print(($4-$3))}‘`a=`echo$line|awk-F,‘{print$1}‘`DAYLEN2=$(($(($sd))/86400))echo$a"开通"$DAYLEN2"天"done
分类：
其他好文 时间：
2014-12-09 19:55:54
阅读次数：
224
#!/bin/bashfunction isIp(){ IP=$1 if [ `echo $IP | awk -F . '{print NF}'` -ne 4 ];then echo "Wrong IP!" exi...
分类：
系统相关 时间：
2014-12-09 19:32:07
阅读次数：
423
pattern scanning and text processing language
语法：
mawk [-F value] [-v var=value] [--] 'program text' [file...]
mawk [-F value] [-v var=value] [-f program-file] [--] [file...]
描述：
awk是一种...
分类：
系统相关 时间：
2014-12-09 15:39:07
阅读次数：
292
一、有文件file11、查询file1里面空行的所在行号awk ‘{if($0~/^$/)print NR}’ fileorgrep -n ^$ file |awk ‘BEGIN{FS=”:”}{print $1}’2、查询file1以abc结尾的行grep abc$ file13、打印出file1...
分类：
系统相关 时间：
2014-12-08 22:46:22
阅读次数：
546
1.按照进程名杀掉进程ps -ef | grep sftp | grep mysql |grep -v grep | awk '{print("kill -9 ",$2)}' | sh ps -ef | grep sftp：查找sftp的进程信息 grep -v grep：排除含有grep的进...
分类：
系统相关 时间：
2014-12-08 17:38:00
阅读次数：
188
异常点的定义参考hawkings离群点定义。需要注意的问题有属性个数、全局/局部、异常程度、一次识别异常个数、评估等。检测方法有：基于模型的方法、基于邻近度的方法、基于密度的方法。在基于模型的方法下，对一元正态分布使用标准差区分；对多元正态分布使用mahalanobis距离区分，它会考虑分布的形状；...
分类：
其他好文 时间：
2014-12-08 15:08:31
阅读次数：
200
cut和awk可以提取列，grep提取行
命令名称：cut
-f 提取行，-d 分隔符...
分类：
系统相关 时间：
2014-12-07 16:30:02
阅读次数：
379
