码迷,mamicode.com
首页 > 其他好文 > 详细

awk去重以某列重复的行

时间:2016-11-21 16:41:33      阅读:176      评论:0      收藏:0      [点我收藏+]

标签:行记录   int   cal   重复   host   print   localhost   cat   txt   

[root@localhost cc]# cat 2.txt
adc 3 5
a d a
a 3 adf
a d b
a 3 adf

去重第一列重复的行:

[root@localhost cc]# cat 2.txt |awk ‘!a[$1]++{print}‘
adc 3 5
a d a

重复的行取最上面一行记录

去重以第一列和第二列重复的行:

[root@localhost cc]# cat 2.txt |awk ‘!a[$1" "$2]++{print}‘
adc 3 5
a d a
a 3 adf

去除重复的行:

[root@localhost cc]# cat 2.txt |awk ‘!a[$0]++{print}‘
adc 3 5
a d a
a 3 adf
a d b

只显示重复行:

[root@localhost cc]# cat 2.txt |awk ‘a[$0]++{print}‘
a 3 adf

 

awk去重以某列重复的行

标签:行记录   int   cal   重复   host   print   localhost   cat   txt   

原文地址:http://www.cnblogs.com/chongchong88/p/6085905.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有 京ICP备13008772号-2
迷上了代码!