版本：V1.1 问题提出者：python群友 问题是否解决：已解决 文档作者：悠久之翼(老男孩老师支持) 修改记录：2015-04-06 系统环境：Centos 6.6 （适合32bit and 64bit） 内核版本：2.6.32-504.el6.x86_64
以下是原文：来自网友的。
老男孩老师，你好：我要取如下数据：
1.单独第一列去重后的结果，这个我已做出来
awk ‘{count[$1]++}; END{for(name in count) print name,count[name]}‘ testfile.txt
2.取第一列和第二列同时去重后的wc–l ，麻烦老师帮忙看下，谢谢！
统计后的结果格式如：000 2227 60
这是网友第一次提交给老男孩老师的问题。由于这些问题就是刚刚讲过的awk数组问题，正好交给学生练手！
下面是学生的完整分析，加上太多次的和老男孩的不断沟通，到底问题者想问什么问题
####蒙了吗？看下面分析吧。
数据文件如下：见本文附件
AYST002 010121012003771 AYST002 010121012003771 001 012345678912345 AYST002 010121012003771 AYST002 010121012003771 AYST002 010121012003771 AYST002 010121012003771 AYST002 010121012003771 AYST002 010121012003771 AYST002 010121012003771 AYST002 010121012003771 AYST002 010121012002696 AYST002 010121012003771 一共2万多行测试数据数据文件如下：见本文附件
0 2227 60 1 3880 4 4 53 2 014B002 6 2 014B004 202 2 014B010 1414 52 014B050 10 1 014B062 1276 36 014B090 53 6 014BA00 1367 13 20 34 7 40 6 4 600 1669 50 A0001 3245 18 ATM001 815 2 AYST001 254 7 AYST002 5451 156
1． 上面问题实在让人费解，两天后终于想明白，他是什么问题è沟通代价太大，引以为戒。
2． 问题分析如下
3． 取得$1去重之后的计数
4． $0去重之后，$1相同$2不同的个数（最后花了2天理解问题，哎~~，提问的人没说明白，我也没理解）
[wxr@C66-test oldboy]$ awk ‘{array[$0]++}END{for(nin array) print n,array[n]}‘ 11.txt|sort
##先进行$0去重，截取
000 c78f62db913017ea 18
000 e15cdefdc82edf20 25
000 e78dff28765d30fd 14
000 f636438c74685fcb 4
001 010121012002346 1
001 012345678912345 3646
001 015159014078175 1
001 1152 232
004 010121011079336 48
004 012345678912345 5
014B002 010121009019316 3
014B002 010121009201084 3
014B004 57e22bae43dfeafa 36
014B004 9e0647d809f4e31f 166
014B010 1c6bf2d598b3d9b5 69
014B010 2b6d303654a64ef3 6
014B010 2b742e4ee5aef95d 14
##获得的结果：
一共出现的次数 $0去重后，以000开头$2不同的个数
000 18+25+14+4 4
001 1+3646 4
004 48+5 2
014B002 3+5 2
014B004 36+166 2
014B010 69+6+14 3
难理解的是最后一列：他是对$0去重后的$1相同 $2不同的，总共的可能性。配合我的例子，和结果理解就好了。确定需求用了太久的时间，比解决问题时间长了很多！
简单粗暴：
[wxr@C66-test oldboy]$sort testfile.txt|uniq -c|awk -f sort_old.awk|sort
000 2227 60
001 3880 4
004 53 2
014B002 6 2
014B004 202 2
014B010 1414 52
014B050 10 1
014B062 1276 36
014B090 53 6
014BA00 1367 13
020 34 7
040 6 4
600 1669 50
A0001 3245 18
aim total singal_total
ATM001 815 2
AYST001 254 7
AYST002 5451 156
Z0001 3 1
[wxr@C66-test oldboy]$cat sort_old.awk
BEGIN{
print"aim""\t" "total" "\t""singal_total"
}
{
array_count[$2]+=$1
if(array[$2] != $3)
{
count[$2]++
array[$2]=$3
}
}
END{
for(n in count)
printn"\t"array_count[n]"\t"count[n]
}
只用awk
[wxr@C66-test awk]$ awk ‘{array[$0]++}END{for(keyin array)print key,array[key]}‘ 11.txt|awk ‘{array_count[$1]+=$3;if(array[$1]!= $2) { count[$1]++;array[$1]=$2 }} END {for(n in count) printn"\t"array_count[n]"\t"count[n]}‘
Z0001 3 1
000 2227 60
ATM001 815 2
001 3880 4
014B062 1276 36
014B090 53 6
020 34 7
040 6 4
004 53 2
600 1669 50
014B010 1414 52
014B002 6 2
AYST001 254 7
AYST002 5451 156
014B004 202 2
014BA00 1367 13
A0001 3245 18
014B050 10 1[wxr@C66-test awk]$ catsort_paste.awk
{
split($0,xarry,FS)
one=xarry[1]
two=xarry[2]
array_count[one]++
if(!((one,two) intree)){
tree[one,two]=1
count[one]++
}
}
END{
for(k in count){
printf("%16s %16s%16s \n",k,count[k],array_count[k])|"sort"
}
}
[wxr@C66-test awk]$ awk-f sort_paste.awk 11.txt
000 60 2227
001 4 3880
004 2 53
014B002 2 6
014B004 2 202
014B010 52 1414
014B050 1 10
014B062 36 1276
014B090 6 53
014BA00 13 1367
020 7 34
040 4 6
600 50 1669
A0001 18 3245
ATM001 2 815
AYST001 7 254
AYST002 156 5451
Z0001 1 3[wxr@C66-test awk]$ awk‘!array_check[$0]++{array[$1]++}{count[$1]++}END{for (n in array)printf("%16s %16s %16s\n",n,array[n],count[n])|"sort"}‘11.txt
000 60 2227
001 4 3880
004 2 53
014B002 2 6
014B004 2 202
014B010 52 1414
014B050 1 10
014B062 36 1276
014B090 6 53
014BA00 13 1367
020 7 34
040 4 6
600 50 1669
A0001 18 3245
ATM001 2 815
AYST001 7 254
AYST002 156 5451
Z0001 1 31． 上面的还可以继续改进加上标题，BEGIN{}自由发挥吧。
2． 练习使用awk数组，理解数组下标就是个字符串。
本文出自 “老男孩linux运维” 博客，请务必保留此出处http://oldboy.blog.51cto.com/2561410/1629928
原文地址：http://oldboy.blog.51cto.com/2561410/1629928
