总结一下日常Shell脚本里常用的知识，忘记时方便查阅。
常见的shell
常见的Linux发行版里，默认的shell一般是dash(sh)或bash，不同的shell对脚本的支持也各不相同。若无特殊说明，以下shell知识都是基于Ubuntu 14.04 x86_64系统上的bash 4.3。
Shell编程书籍
只看过Advanced Bash-Scripting Guide，简称ABS。感觉这本电子书内容详尽，例子很多，作者维护地也很积极。
以下只总结一些关键知识点。
变量
变量赋值
赋值操作符左右不能有空白字符。
a=1024
# 清空变量
a=
unset a
# 变量清空后，在做计算时为0
let "b = 100 / (a + 2)"
echo $b
# 50
${} $() $(())
${ls}和$ls一样，都是取变量ls的值，$(ls)则表示执行命令ls。
$(( e ))则返回表达式e的值，见下文的算术操作。
假设当前目录下有两个文件fileA和fileB，下同。
ls=1024
echo $ls
# 1024
echo ${ls}
# 1024
echo $(ls)
# fileA fileB
echo `ls`
# fileA fileB
echo $(( 1 + 2 ))
# 3
间接引用
以上变量赋值称为直接引用，例如
a="b"
echo ${a}
# b
间接引用其实就是获取变量的值的值，在上面的例子里就是变量b的值，可以使用${!a}来获取。
a="b"
b=2
echo ${!a}
# 2
弱引用 vs 强引用
双引号和单引号的区别。
a=1024
echo "$a"
# 1024
$ echo ‘$a‘
# $a
双引号还能在echo的时候保留变量里的换行符。
a=`ls -1`
echo $a
# 输出里的换行符变成了空格
# fileA fileB
echo "$a"
# fileA
# fileB
特殊变量
见特殊变量。
true和false
true和false命令的作用就类似c语言里的true和false关键字。
数组
bash支持一维数组
a=(1 2 3 4 55)
echo ${a[0]}
# 1
echo ${a[4]}
# 5
echo ${a[100]}
#
# 获取全部数组元素
echo ${a[*]}
# 1 2 3 4 5
echo ${a[@]}
# 1 2 3 4 5
# 获取长度
echo ${#a[4]}
# 2
echo ${#a[*]}
# 5
echo ${#a[@]}
# 5
需要注意的几点
- 数组越界不返回（null）
${arr[*]}和${arr[@]}返回全部元素${#arr[N]}返回对应元素(或全部元素)的字符串长度
算术操作
简单的整数计算可以通过bash内置的let, (())来实现，详细文档可参考Shell Arithmetic。
(( a = (1 + 101) / 3 ))
let "a = (1 + 101) / 3"
复杂的数学计算或浮点数计算可以使用bc工具，见下文。
字符串操作
需要注意的是，shell是弱类型的。
注: str=string, pat=pattern, rep=replacement
-
字符串替换:
${str/pat/rep}，${s//pat/rep},${s/#pat/rep},${s/%pat/rep}a="hello world" b=${a/world/Tom} echo $b # hello Tom # 全部替换 a="aaaa" echo ${a//a/b} # bbbb # 只替换头部 a="123456" echo ${a/#123/ABC} # ABC456 echo ${a/#456/ABC} # 123456 # 只替换尾部 a="123456" echo ${a/%123/ABC} # 123456 echo ${a/%456/ABC} # 123ABC -
获取字符串长度:
${#str}a="hello world" echo ${#a} # 11 -
提取字串:
${str:position:length}a="123456" echo ${a:1:3} # 234 -
删除字串
${s#pat}: 从开头删除最短的匹配${s##pat}: 从开头删除最长的匹配${s%pat}: 从结尾删除最短的匹配${s%%pat}: 从结尾删除最长的匹配
例子
a="Good morning, Tom" echo ${a#G* } # morning, Tom echo ${a##G* } # Tom echo ${a%o*m} # Good morning, T echo ${a%%o*m} # G这里的pattern仅支持有限的正则表达式操作，见模式匹配。
条件表达式
常用于if和while语句中，退出状态为0则表示true，不为0表示false。也可单独使用。
[ vs [[
bash支持[内置命令(非/usr/bin/[1)和[[关键字来构造条件表达式，[和test内置命令的效果是一样的；[[构造的表达式类似c语言，相对更直观一些，支持的操作符也更多一些。
[支持的比较操作符
- 数字比较
-eq: 相等(equal)，[ $a -eq $b ]-ne: 不相等(not equal)-gt: 大于(greater than)-lt: 小于(less than)-ge: 大于等于(greater than or equal to)-le: 小于等于(less than or equal to)
- 字符串比较，进行字符串比较的时候尽量带上引号
=: 相等，[[ "$a" = "$b" ]]，注意等号两边必须保留空格。==: 相等， 在[和[[中表现不同2!=: 不相等<: 小于，按字典序比较>: 大于，按字典序比较-z: 字符串是null("")，即长度为0-n: 字符串不是null，此时必须将变量"引"起来：[ -n "$str" ]
- 常用的文件比较，所有的文件操作符见ABS 7.2. File test operators
-e: 文件存在-f: 是regular文件，可使用ls -l查看-s: 文件大小不是0-d: 文件是目录-h: 文件是软链接-L: 同上，文件是软链接-r: 当前用户对文件有读权限-w: 当前用户对文件有写权限-x: 当前用户对文件有执行权限a -nt b: 文件a比文件b新（修改时间更晚）a -ot b: 文件a比文件b旧（修改时间更早）
- 其他
!: 逻辑非-a: 逻辑与，类似于c语言的&，每个后续的表达式都要比较-o: 逻辑或，类似于c语言的|，每个后续的表达式都要比较
[[支持的比较操作符
- 所有
[中支持的操作符 - 扩展的数字比较
<: 小于>: 大于<=: 小于等于>=: 大于等于
- 其他扩展
&&: 逻辑与，类似于c语言的&&，遇到true便退出，不再比较后续的表达式||: 逻辑或，类似于c语言的||，遇到false便退出，不再比较后续的表达式
操作符优先级
不要依赖优先级，依赖括号()
下面由高到低列出常见的操作符的优先级，全面的优先级表见ABS 8.4. Operator Precedence。
++--自增和自减!逻辑非**乘方*/%乘除和取模+-加减-z-n一元字符串比较操作符-e-f-x等一元文件比较操作符<-lt<=>等二元数字/字符串比较操作符-nt-ot等二元文件比较操作符-a&&逻辑与-o||逻辑或=赋值操作符
变量的真假
-
未初始化，被赋值为null或被unset的变量在条件表达式里都是假。
a= a2="" # 也是null b=1; unset b if [ ! $a ]; then echo "a is false"; fi # a is false if [ ! $a2 ]; then echo "a2 is false"; fi # a2 is false if [ ! $b ]; then echo "b is false"; fi # b is false if [ ! $c ]; then echo "c is false"; fi # c is false -
其他正常初始化的变量都是真
a=1 b=0 c=-1 d="false" if [ $a ]; then echo "a is true"; fi # a is true if [ $b ]; then echo "b is true"; fi # b is true if [ $c ]; then echo "c is true"; fi # c is true if [ $d ]; then echo "d is true"; fi # d is true
命令列表里的与和或
除了在条件表达式中，bash还支持在条件命令列表里使用&&和||，作用类似c语言里的&&和||。
例如
true && echo hello
# hello
[ 1 -eq 1 ] && echo hello
# hello
false || echo hello
# hello
控制语句
if语句
if [condition]; then
commands...
elif [condition2]; then
commands...
else
commands...
fi
- elif和else都可省略。
- 支持多个if语句嵌套。
case语句
case的候选项可以使用bash的正则表达式，比如用*来实现c语言里default的功能。
case "$var" in
"$value1")
commands...
;;
"$value2")
commands...
;;
esac
以下代码取自ABS
while [ $# -gt 0 ]; do # Until you run out of parameters . . .
case "$1" in
-d|--debug)
DEBUG=1
;;
-c|--conf)
CONFFILE="$2"
shift
if [ ! -f $CONFFILE ]; then
echo "Error: Supplied file doesn‘t exist!"
exit $E_CONFFILE # File not found error.
fi
;;
esac
shift # Check next set of parameters.
done
for循环
for arg in [list]
do
commands...
done
例如
for i in $(seq 5); do
echo $i
done
for循环的输出可以pipe到其他命令，例如
for f in $(ls); do
echo $f
done | egrep "\.txt$"
while循环
while [condition]; do
commands...
done
例如，从标准输入读10次并输出，break continue和c语言里是一样的效果。
i=0
limit=10
while read value; do
echo $value
let i++
if [ $i -eq $limit ]; then
break
fi
done
还可以在条件表达式里使用(())，例如
(( i = 0 ))
(( limit = 10 ))
while (( i < limit )); do
echo $i
(( i++ ))
done
# 0
# 1
# ...
# 9
until循环
类似while循环，区别是当条件为false时执行，当条件为true时停止。
until [condition is true]; do
commands...
done
函数
# 定义
function_name() {
commands...
}
# 调用
function_name arg1 arg2 ... argN
在函数里用local定义的变量只能在函数体内使用。
函数参数
- 函数体内，使用位置参数
$1,$2等来依此获取传入的参数。 - 在函数体内使用shift命令对函数的参数也有效。
- 使用
$#来获取参数的个数。
函数返回值
- 可以使用
return来终止函数并返回数据。 - 如果没有return语句，默认使用最后一条命令的退出状态来当作返回值。
- 可以使用
$?来获取函数的返回值。 - 函数体内输入到标准输出的数据可以赋值给变量。
例子
一个比较脑惨的例子
show_params() {
while [ "$#" -ne 0 ]; do
echo $1
shift
done
return 0
}
nums=$(show_params 1 2 3)
if [ "$?" -eq 0 ]; then
echo "show_params function succeeded:" $nums
else
echo "show_params function failed"
fi
# show_params function succeeded: 1 2 3
其他技巧
搜索子字符串
检查一个字符串$source是否包含某个字串$target，最方便的方法是
if [[ ${source} == *${target}* ]]; then
...
fi
其他工具
未完成
expr
字符串操作
seq
bc
sed
awk
参考资料
- Advanced Bash-Scripting Guide
- Pattern Maching from gnu bash documentation
- String contains in bash
脚注
-
type ‘[‘输出[ is a shell builtin，而不是/usr/bin/[，虽然作用都是一样的。 -
参考ABS 7.3. Other Comparison Operators中关于
==的注释。[[ $a == z* ]] # True if $a starts with an "z" (pattern matching). [[ $a == "z*" ]] # True if $a is equal to z* (literal matching). [ $a == z* ] # File globbing and word splitting take place. [ "$a" == "z*" ] # True if $a is equal to z* (literal matching).
