浮现在脑海的很多Linux命令，其中一些不为人知，另一些则很常见，如下：xargs or parallel: 并行运行一些程序，命令有很多的选项sed and awk: 广为人知并且非常有用的处理文本文件的命令，比Python和Ruby还快m4: 简单的宏处理命令screen: 功能强大的终端复用和...
分类：
其他好文 时间：
2014-11-03 10:08:16
阅读次数：
172
数据分析和建模方面的大量编程工作都是用在数据准备上的：载入、清理、转换以及重塑。有时候，存放在文件或数据库中的数据并不能满足你的数据处理应用的要求。很多人都选择使用通用编程语言（如Python、Perl、R或Java）或UNIX文本处理工具（如sed或awk）对数据格式进行专门处理。幸运的是，pan...
分类：
编程语言 时间：
2014-11-02 12:15:32
阅读次数：
271
sed -i 's/10.1.1.1/10.1.1.2/g' `grep -ir 10.1.1.1 * |grep -E '.xml:|.cfg:|.ini:|.wsdl:|.properties:' | awk -F: '{print $1}' | uniq `注：当中1为原IP，2为新IP ；要...
分类：
系统相关 时间：
2014-11-02 12:05:10
阅读次数：
154
awk于1977年出生，今年36岁本命年，sed比awk大2-3岁，awk就像林妹妹，sed就是宝玉哥哥了。所以林妹妹跳了个Topless，他的哥哥sed坐不住了，也一定要出来抖一抖。sed全名叫stream editor，流编辑器，用程序的方式来编辑文本，相当的hacker啊。sed基本上就是玩正...
分类：
其他好文 时间：
2014-10-31 23:32:27
阅读次数：
331
linux环境下，如何获得一个文件的总行数?你也许会说很简单，用wc命令即可。使用命令:wc<文件名>|awk‘{print$1}‘但是要注意，wc命令计算文件的行数是看换行符的个数。如果一个文件的结尾没有换行符（比如在windows下编辑的），那么就会出现“相差1”的错误。例如，一个文..
分类：
其他好文 时间：
2014-10-30 11:54:22
阅读次数：
191
前言
还是今天再写一个自动化打包脚本，用到了从路径名中获取最后的文件名。这里记录一下实现过程。当然，最后我也会给出官方的做法。（ps：很囧，实现完了才发现原来Bash Shell有现成的函数）
获取文件名
假设给定的路径名为：/tmp/csdn/zhengyi/test/zhengyi.txt
awk解法
用“/”做分隔符，然后打印出最后的那一部分。实现代码如下：
resFil...
分类：
系统相关 时间：
2014-10-29 21:40:52
阅读次数：
281
查看io性能iostat-d-x-k110端口是否启动/usr/sbin/lsof-i:8422/usr/sbin/tcpdumpicmp-n-ieth0查看是否有大量的ping查看当前的连接数netstat-n|awk‘/^tcp/{++S[$NF]}END{for(ainS)printa,S[a]}‘不中断服务地重启Nginxkill-HUP`cat/usr/local/nginx/logs/nginx.pid`查看当前连接..
分类：
系统相关 时间：
2014-10-29 19:36:53
阅读次数：
221
1.把一个文件里面所有包含 abc 的行里面的 abc 替换成 def，然后输出第一列和第三列cat abc.txt | grep abc | sed 's/abc/def/g' | awk '{print $1,$3}'awk '$0 ~ /abc/ {gsub("abc", "def", $0)...
分类：
系统相关 时间：
2014-10-29 16:29:55
阅读次数：
183
postfix下的转发配置文件更改#!/bin/bashPOSTCONF=‘/etc/postfix/main.cf‘##配置文件的位置ret=$(grepsmtp_idns_filter_style$POSTCONF|awk-F‘=‘‘{print$2}‘)切割出配置文件要更改的部分echo"thecurrentis$ret"BASE=hongkong#Startthehongkongstart(){echo$"Starting$BASE:"sed..
分类：
其他好文 时间：
2014-10-28 18:12:18
阅读次数：
164
简介awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk，g...
分类：
其他好文 时间：
2014-10-28 17:32:27
阅读次数：
238
