文件排序合并

标签：linux

china:121:232:NE3453
usa:434:435:SS343
Hongkong:2323:343:KO32
china:9034:234:HU423
china:9032:5443:IJ232

[root@iZ2546h6zurZ test]# sort -t: cargo.db 
china:121:232:NE3453
china:9032:5443:IJ232
china:9034:234:HU423
Hongkong:2323:343:KO32
usa:434:435:SS343

[root@iZ2546h6zurZ test]# sort -t: -k2 cargo.db 
china:121:232:NE3453
Hongkong:2323:343:KO32
usa:434:435:SS343
china:9032:5443:IJ232
china:9034:234:HU423

[root@iZ2546h6zurZ test]# sort -t: -k2n cargo.db 
china:121:232:NE3453
usa:434:435:SS343
Hongkong:2323:343:KO32
china:9032:5443:IJ232
china:9034:234:HU423

[root@iZ2546h6zurZ test]# sort -t: -k2n -o cargo2.db cargo.db 

bei jing
qwwq
fdfdfdfa


ji nan
sfdfs
dfdfdsfd


cheng du
gfgadf
fsdfwdfw


hang zhou
fsdfsf
fsdgsd

[root@iZ2546h6zurZ test]# cat location.db |awk -v RS="" '{gsub("\n","@");print}' | sort | awk -v ORS="\n\n" '{gsub("@","\n");print}'
bei jing
qwwq
fdfdfdfa


cheng du
gfgadf
fsdfwdfw


hang zhou
fsdfsf
fsdgsd


ji nan
sfdfs
dfdfdsfd

hahahah
hahahah
lcq
hello
hahahah
lcq
world

[root@iZ2546h6zurZ test]# uniq location2.db 
hahahah
lcq
hello
hahahah
lcq
world

[root@iZ2546h6zurZ test]# sort -u location2.db 
hahahah
hello
lcq
world

lcq:stu:hahah
sgf:stu:dsiwew
xm:stu:2e2ds

lcq:fsdfs
sgf:fvbdfgdgfgfgf
xm:fsdfsd

[root@iZ2546h6zurZ test]# join -t: stu2.db stu2_body.db
lcq:stu:hahah:fsdfs
sgf:stu:dsiwew:fvbdfgdgfgfgf
xm:stu:2e2ds:fsdfsd

[root@iZ2546h6zurZ test]# cut -d: -f1,2 stu2.db
lcq:stu
sgf:stu
xm:stu

[root@iZ2546h6zurZ test]# tar -cf stu.all stu*

[root@iZ2546h6zurZ test]# tar -xvf stu.all

[root@iZ2546h6zurZ test]# gzip stu.all

[root@iZ2546h6zurZ test]# tar -zxvf stu.all.gz 
stu2_body.db
stu2.db
stu_body.db
stu.db

文件排序合并

标签：linux

原文地址：http://blog.csdn.net/liuchangqing123/article/details/44230551