Skip to main content
 首页 » 操作系统

Linux Shell知识汇总2

2022年07月19日149xxx_UU

一、Shell解析器配置

1.用户的默认Shell设置在/etc/passwd文件中,例如下面这行对用户mia的设置:

mia:L2NOfqdlPrHwE:504:504:Mia Maya:/home/mia:/bin/bash

二、Shell如何执行命令

1. 执行交互式命令
用户在命令行输入命令后,一般情况下Shell会fork并exec该命令,但是Shell的内建命令例外,执行内建命令相当于调用Shell进程中的一个函数,并不创建新的进程。
以前学过的cd、alias、umask、exit等命令即是内建命令,凡是用which命令查不到程序文件所在位置的命令都是内建命令,内建命令没有单独的man手册,要在man手册中查看内建命令,应该:

$ man bash-builtins

如export、shift、if、eval、[、for、while等等。内建命令虽然不创建新的进程,但也会有Exit Status,通常也用0表示成功非零表示失败,虽然内建命令不创建新的
进程,但执行结束后也会有一个状态码,也可以用特殊变量$?读出。

$ chmod +x script.sh 
$ ./script.sh

Shell会fork一个子进程并调用exec执行./script.sh这个程序,exec系统调用应该把子进程的代码段替换成./script.sh程序的代码段,并从它的_start开始执行。然而script.sh是个文本文件,根本没有代码段和_start函数,怎么办呢?其实exec还有另外一种机制,如果要执行的是一个文本文件,并且第一行用Shebang指定了解释
器,则用解释器程序的代码段替换当前进程,并且从解释器的_start开始执行,而这个文本文件被当作命令行参数传给解释器。因此,执行上述脚本相当于执行程序:

$ /bin/sh ./script.sh

三、Shell基本语法

1. 变量

Shell变量由全大写字母加下划线组成,有两种类型的Shell变量:

(1)环境变量:环境变量可以从父进程传给子进程,可以从当前Shell进程传给fork出来的子进程。用printenv命令可以显示当前Shell进程的环境变量。

(2)本地变量:只存在于当前Shell进程,用set命令可以显示当前Shell进程中定义的所有变量(包括本地变量和环境变量)和函数。

环境变量是任何进程都有的概念,而本地变量是Shell特有的概念。在Shell中,环境变量和本地变量的定义和用法相似。

$ VARNAME=value #对变量赋值,注意等号两边都不能有空格,否则会被Shell解释成命令和命令行参数。 
 
$ export VARNAME=value #一个变量定义后仅存在于当前Shell进程,它是本地变量,用export命令可以把本地变量导出为环境变量。 
 
$ unset VARNAME #用unset命令可以删除已定义的环境变量或本地变量。 
 
${VARNAME} 表示变量的值,在不引起歧义的情况下也可以用$VARNAME表示它的值。

和C语言不同的是,Shell变量不需要明确定义类型,事实上Shell变量的值都是字符串,比如我们定义VAR=45,其实VAR的值是字符串45而非整数。Shell变量不需要先
定义后使用,如果对一个没有定义的变量取值,则值为空字符串。

2. 文件名代换(Globbing):* ? []

这些用于匹配的字符称为通配符(Wildcard),具体如下:

(1)通配符
* 匹配0个或多个任意字符
? 匹配一个任意字符
[若干字符] 匹配方括号中任意一个字符的一次出现

$ ls /dev/ttyS* 
$ ls ch0?.doc 
$ ls ch0[0-2].doc 
$ ls ch[012][0-9].doc

注意,Globbing所匹配的文件名是由Shell展开的,也就是说在参数还没传给程序之前已经展开了,比如上述ls ch0[012].doc命令,如果当前目录下有ch00.doc和ch02.doc,则传给ls命令的参数实际上是这两个文件名,而不是一个匹配字符串。

字符串比较中使用通配符:

P=1017; for T in `ls /proc/$P/task`; do C=`cat /proc/$P/task/$T/comm`; if [[ $C == provider* ]]; then cat /proc/$P/task/$T/sched | grep prio; fi done;

注:将脚本写到一行,在Notepad++中只要是关键字颜色变化了,就是对的。

3.命令代换:``或 $()

由反引号括起来的也是一条命令,Shell先执行该命令,然后将输出结果立刻代换到当前命令行中。例如定义一个变量存放date命令的输出:

$ DATE=`date` 
$ echo $DATE

命令代换也可以用$()表示:

$ DATE=$(date)

 4.算术代换:$(())

用于算术计算,$(())中的Shell变量取值将转换成整数,例如:

$ VAR=45 
$ echo $(($VAR+3))

$(())中只能用+-*/和()运算符,并且只能做整数运算。


5. 转义字符 \

和C语言类似,\在Shell中被用作转义字符,用于去除紧跟其后的单个字符的特殊意义(回车除外),换句话说,紧跟其后的字符取字面值。例如:

例1:

$ echo $SHELL 
/bin/bash 
$ echo \$SHELL 
$SHELL

6. 单引号

和C语言不一样,Shell脚本中的单引号和双引号一样都是字符串的界定符(双引号下一节介绍),而不是字符的界定符。单引号用于保持引号内所有字符的字面值,即
使引号内的\和回车也不例外。

7. 双引号

双引号用于保持引号内所有字符的字面值(回车也不例外),但以下情况除外:
(1)$加变量名可以取变量的值
(2)反引号仍表示命令替换
(3)\$表示$的字面值
(4)\`表示`的字面值
(5)\"表示"的字面值
(6)\\表示\的字面值
除以上情况之外,在其它字符前面的\无特殊含义,只表示字面值

例子:

$ echo "$SHELL" 
/bin/bash 
 
$ echo "`date`" 
Sun Apr 20 11:22:06 CEST 2003 
 
$ echo "I'd say: \"Go for it\"" 
I'd say: "Go for it" 
 
$ echo "\\" 
\

8. 条件测试:test [

命令test或[可以测试一个条件是否成立,如果测试结果为真,则该命令的Exit Status为0,如果测试结果为假,则命令的Exit Status为1(注意与C语言的逻辑表示正好相反)。例如测试两个数的大小关系:

$ VAR=2 
$ test $VAR -gt 1 
$ echo $? 
0 
$ test $VAR -gt 3 
$ echo $? 
1 
$ [ $VAR -gt 3 ] 
$ echo $? 
1

虽然看起来很奇怪,但左方括号[确实是一个命令的名字,传给命令的各参数之间应该用空格隔开,比如,$VAR、-gt、3、]是[命令的四个参数,它们之间必须用空格隔开。命令test或[的参数形式是相同的,只不过test命令不需要]参数。


9. 测试条件之间的与、或、非逻辑运算

和C语言类似,测试条件之间还可以做与、或、非逻辑运算:

[ ! EXPR ]          EXPR可以是上表中的任意一种测试条件,!表示逻辑反 
[ EXPR1 -a EXPR2 ]    EXPR1和EXPR2可以是上表中的任意一种测试条件,-a表示逻辑与 
[ EXPR1 -o EXPR2 ]    EXPR1和EXPR2可以是上表中的任意一种测试条件,-o表示逻辑或
$ VAR=abc 
$ [ -d Desktop -a $VAR = 'abc' ] 
$ echo $? 
0

注意,如果上例中的$VAR变量事先没有定义,则被Shell展开为空字符串,会造成测试条件的语法错误(展开为[ -d Desktop -a = 'abc' ]),作为一种好的Shell编程

习惯,应该总是把变量取值放在双引号之中(展开为[ -d Desktop -a "" = 'abc' ]):

$ unset VAR 
$ [ -d Desktop -a $VAR = 'abc' ] 
bash: [: too many arguments 
$ [ -d Desktop -a "$VAR" = 'abc' ] 
$ echo $? 
1

10. if/then/elif/else/fi

和C语言类似,在Shell中用if、then、elif、else、fi这几条命令实现分支控制。这种流程控制语句本质上也是由若干条Shell命令组成的

if [ -f ~/.bashrc ]; then 
    . ~/.bashrc 
fi

其实是三条命令,if [ -f ~/.bashrc ]是第一条then . ~/.bashrc是第二条fi是第三条。如果两条命令写在同一行则需要用;号隔开,一行只写一条命令就不需要写;号了,
另外,then后面有换行,但这条命令没写完,Shell会自动续行,把下一行接在then后面当作一条命令处理。Shell脚本没有{}括号,所以用fi表示if语句块的结束。

#! /bin/sh 
 
if [ -f /bin/bash ] 
then echo "/bin/bash is a file" 
else echo "/bin/bash is NOT a file" 
fi 
 
if :; then echo "always true"; fi

: 是一个特殊的命令,称为空命令,该命令不做任何事,但Exit Status总是真。此外,也可以执行/bin/true或/bin/false得到真或假的Exit Status。再看一个例子:

#! /bin/sh 
 
echo "Is it morning? Please answer yes or no." 
read YES_OR_NO 
if [ "$YES_OR_NO" = "yes" ]; then 
    echo "Good morning!" 
elif [ "$YES_OR_NO" = "no" ]; then 
    echo "Good afternoon!" 
else 
    echo "Sorry, $YES_OR_NO not recognized. Enter yes or no." 
exit 1 
fi 
exit 0

上例中的read命令的作用是等待用户输入一行字符串,将该字符串存到一个Shell变量中。


11. &&和||语法

Shell还提供了&&和||语法,和C语言类似,具有Short-circuit特性,很多Shell脚本喜欢写成这样

test "$(whoami)" != 'root' && (echo you are using a non-privileged account; exit 1)

&&相当于“if...then...”,而 || 相当于“if not...then...”。&&和 || 用于连接两个命令,而上面讲的-a和-o仅用于在测试表达式中连接两个测试条件,要注意它们的区别,
例如,

test "$VAR" -gt 1 -a "$VAR" -lt 3

和以下写法是等价的:

test "$VAR" -gt 1 && test "$VAR" -lt 3

&&用法举例:

PPID=12882 
for p in `ls /proc/$PPID/task/`; 
do 
    Thread=`cat /proc/$PPID/task/$p/comm` 
    if [ "$Thread" != "com.tencent.tt" ] && [ "$Thread" != "com.tencent.mm" ]; then 
        cat /proc/$PPID/task/$p/comm 
    fi 
done;

||用法举例:

rev=`cat /sys/devices/soc0/revision` 
if [ $rev == "2.0" ] || [ $rev == "2.1" ]; then 
    echo "=== rev=2.X ===" 
else 
    echo "=== rev!=2.X ===" 
fi

12. case/esac

case命令可类比C语言的switch/case语句,esac表示case语句块的结束。C语言的case只能匹配整型或字符型常量表达式,而Shell脚本的case可以匹配字符串和Wildcard,每个匹配分支可以有若干条命令,末尾必须以 ;; 结束,执行时找到第一个匹配的分支并执行相应的命令,然后直接跳到esac之后,不需要像C语言一样用break跳出。

#! /bin/sh 
 
echo "Is it morning? Please answer yes or no." 
read YES_OR_NO 
case "$YES_OR_NO" in 
yes|y|Yes|YES) 
  echo "Good Morning!";; 
[nN]*) 
  echo "Good Afternoon!";; 
*) 
  echo "Sorry, $YES_OR_NO not recognized. Enter yes or no." 
  exit 1;; 
esac 
exit 0

使用case语句的例子可以在系统服务的脚本目录/etc/init.d中找到。这个目录下的脚本大多具有这种形式(以/etc/apache2为例):

case $1 in 
    start) 
        ... 
    ;; 
    stop) 
        ... 
    ;; 
    reload | force-reload) 
        ... 
    ;; 
    restart) 
    ... 
    *) 
        log_success_msg "Usage: /etc/init.d/apache2 {start|stop|restart|reload|force-reload|start-htcacheclean|stop-htcacheclean}" 
        exit 1 
    ;; 
esac

13. for/do/done

Shell脚本的for循环结构和C语言很不一样,它类似于某些编程语言的foreach循环。例如:

#! /bin/sh 
 
for FRUIT in apple banana pear; do 
echo "I like $FRUIT" 
done

FRUIT是一个循环变量,第一次循环$FRUIT的取值是apple,第二次取值是banana,第三次取值是pear。再比如,要将当前目录下的chap0、chap1、chap2等文件名改
为chap0~、chap1~、chap2~等(按惯例,末尾有~字符的文件名表示临时文件),这个命令可以这样写:

$ for FILENAME in chap?; do mv $FILENAME $FILENAME~; done

也可以这样写:

$ for FILENAME in `ls chap?`; do mv $FILENAME $FILENAME~; done

 14. while/do/done

while的用法和C语言类似。比如一个验证密码的脚本:

#! /bin/sh 
 
echo "Enter password:" 
read TRY 
while [ "$TRY" != "secret" ]; do 
    echo "Sorry, try again" 
    read TRY 
done

下面的例子通过算术运算控制循环的次数:

#! /bin/sh 
 
COUNTER=1 
while [ "$COUNTER" -lt 10 ]; do 
    echo "Here we go again" 
    COUNTER=$(($COUNTER+1)) 
done

Shell还有until循环,类似C语言的do...while循环,本章从略。

构建一段死循环并绑核:

let i=0; while [ i -lt 200000 ]; do if [ i -lt 1 ]; then taskset -p 20 $$; fi; let i=i+1; done

15.位置参数和特殊变量

有很多特殊变量是被Shell自动赋值的,我们已经遇到了$?和$1,现在总结一下:

$0   相当于C语言main函数的argv[0]
$1、$2...   这些称为位置参数,相当于C语言main函数的argv[1]、argv[2]...
$#   相当于C语言main函数的argc - 1,注意这里的#后面不表示注释
$@   表示参数列表"$1" "$2" ...,例如可以用在for循环中的in后面。
$?   上一条命令的Exit Status
$$   当前Shell的进程号

位置参数可以用shift命令左移。比如shift 3表示原来的$4现在变成$1,原来的$5现在变成$2等等,原来的$1、$2、$3丢弃,$0不移动。
不带参数的shift命令相当于shift 1。例如:

#! /bin/sh 
 
echo "The program $0 is now running" 
echo "The first parameter is $1" 
echo "The second parameter is $2" 
echo "The parameter list is $@" 
shift 
echo "The first parameter is $1" 
echo "The second parameter is $2" 
echo "The parameter list is $@"

16. 函数

和C语言类似,Shell中也有函数的概念,但是函数定义中没有返回值也没有参数列表。例如:

#! /bin/sh 
 
foo(){ echo "Function foo is called"; } 
echo "--start--" 
foo 
echo "--end--"

注意函数体的左花括号{和后面的命令之间必须有空格或换行,如果将最后一条命令和右花括号}写在同一行,命令末尾必须有;号。

在定义foo()函数时并不执行函数体中的命令,就像定义变量一样,只是给foo这个名字一个定义,到后面调用foo函数的时候(注意Shell中的函数调用不写括号)才执行函数体中的命令。Shell脚本中的函数必须先定义后调用,一般把函数定义都写在脚本的前面,把函数调用和其它命令写在脚本的最后(类似C语言中的main函数,这才是整个脚本实际开始执行命令的地方)。

Shell函数没有参数列表并不表示不能传参数,事实上,函数就像是迷你脚本,调用函数时可以传任意个参数,在函数内同样是用$0、$1、$2等变量来提取参数,函数中的位置参数相当于函数的局部变量,改变这些变量并不会影响函数外面的$0、$1、$2等变量。函数中可以用return命令返回,如果return后面跟一个数字则表示函数的Exit Status。

下面这个脚本可以一次创建多个目录,各目录名通过命令行参数传入,脚本逐个测试各目录是否存在,如果目录不存在,首先打印信息然后试着创建该目录。

#! /bin/sh 
 
is_directory() 
{ 
  DIR_NAME=$1 
  if [ ! -d $DIR_NAME ]; then 
    return 1 
  else 
    return 0 
  fi 
} 
 
for DIR in "$@"; do 
  if is_directory "$DIR" 
  then :    #空操作,但是其exit status恒为0(真) 
  else 
    echo "$DIR doesn't exist. Creating it now..." 
    mkdir $DIR > /dev/null 2>&1 
    if [ $? -ne 0 ]; then 
      echo "Cannot create directory $DIR" 
      exit 1 
    fi 
  fi 
done

注意is_directory()返回0表示真返回1表示假。

17. Shell脚本的调试方法

Shell提供了一些用于调试脚本的选项,如下所示:

-n:读一遍脚本中的命令但不执行,用于检查脚本中的语法错误。

-v:一边执行脚本,一边将执行过的脚本命令打印到标准错误输出。

-x:提供跟踪执行信息,将执行的每一条命令和结果依次打印出来(这个非常有用,因为其将参数直接打印为变量的值了!)。

使用这些选项有三种方法,

(1)一是在命令行提供参数

$ sh -x ./script.sh

(2)二是在脚本开头提供参数

#! /bin/sh -x

(3)第三种方法是在脚本中用set命令启用或禁用参数

#! /bin/sh 
if [ -z "$1" ]; then 
    set -x 
    echo "ERROR: Insufficient Args." 
    exit 1 
    set +x 
fi

set -x和set +x分别表示启用和禁用-x参数,这样可以只对脚本中的某一段进行跟踪调试。

 18. 进行判断时,对变量的引用要加双引号

PPID=12970 
for p in `ls /proc/$PPID/task/`; 
do 
    Render=`cat /proc/$PPID/task/$p/comm` 
    if [ "$Render" = "RenderThread" ]; then 
        cat /proc/$PPID/task/$p/comm 
    fi 
done;

如果$Render没有加双引号,若返回为空,就会出现"if [ = "RenderThread" ]",执行时会提示下面的错误,加上双引号后报错消除。

/system/bin/sh: [: Catcher: unexpected operator/operand 
/system/bin/sh: [: Connec: unexpected operator/operand 
/system/bin/sh: [: thread: unexpected operator/operand 
/system/bin/sh: [: Saver: unexpected operator/operand 
/system/bin/sh: [: Hal: unexpected operator/operand 
/system/bin/sh: [: Hal: unexpected operator/operand 
/system/bin/sh: [: Capture: unexpected operator/operand 
/system/bin/sh: [: Hal: unexpected operator/operand 
/system/bin/sh: [: Hal: unexpected operator/operand 
/system/bin/sh: [: Capture: unexpected operator/operand

四、Shell逻辑运算

运算符号    代表意义 
=    等于,应用于:整型或字符串比较 如果在[] 中,只能是字符串 
!=    不等于,应用于:整型或字符串比较 如果在[] 中,只能是字符串 
<    小于,应用于:整型比较 在[] 中不能使用 表示字符串 
>    大于,应用于:整型比较 在[] 中不能使用 表示字符串 
-eq    等于,应用于:整型比较 
-ne    不等于,应用于:整型比较 
-lt    小于,应用于:整型比较 
-gt    大于,应用于:整型比较 
-le    小于或等于,应用于:整型比较 
-ge    大于或等于,应用于:整型比较 
-a    双方都成立(and),逻辑表达式 
-o    单方成立(or)逻辑表达式 
-z    空字符串 
-n    非空字符串

例子:

[ 1 -eq 1 ] && echo ok #打印ok 
 
[ 2 < 1 ] && echo ‘ok' #报错 -bash: 2: No such file or directory  
[ 2 \< 4 ] && echo ok  #需要转义一下,打印ok 
 
[ 2 -gt 1 -a 3 -lt 4 ] && echo ok # 多个判断一起使用,相当于C中的 if((2>1) && (3<4))

注意:在[] 表达式中,常见的>,<需要加转义字符,表示字符串大小比较,以acill码 位置作为比较。 不直接支持< >运算符,还有逻辑运算符|| && 它需要用-a[and] –o[or]表示。

[ 1 -eq 1 ] && echo ok #打印ok, &&还启动链接作用,前面条件成立才执行后面的语句。 
[[ 2 < 3 ]] && echo ok #打印ok 
[[ 2 < 3 && 6 > 5 ]] && echo ok #打印ok 
[[ 2 < 3 && 4 > 5 ]] || echo not ok #打印not ok

注意:[[]] 运算符只是 [] 运算符的扩充。能够支持<,>符号而不需要转义符,但它还是以字符串比较大小。里面支持逻辑运算符 || &&。[[]]兼容性强且性能比较好。

非算术逻辑运算

1.    关于档案与目录的侦测逻辑卷标! 
-------------------------------- 
-f    常用!侦测『档案』是否存在 eg: if [ -f filename ] 
-d    常用!侦测『目录』是否存在 
-b    侦测是否为一个『 block 档案』 
-c    侦测是否为一个『 character 档案』 
-S    侦测是否为一个『 socket 标签档案』 
-L    侦测是否为一个『 symbolic link 的档案』 
-e    侦测『某个东西』是否存在! 
 
2.    关于程序的逻辑卷标! 
-------------------------------- 
-G    侦测是否由 GID 所执行的程序所拥有 
-O    侦测是否由 UID 所执行的程序所拥有 
-p    侦测是否为程序间传送信息的 name pipe 或是 FIFO  
 
3.    关于档案的属性侦测! 
-------------------------------- 
-r    侦测是否为可读的属性 
-w    侦测是否为可以写入的属性 
-x    侦测是否为可执行的属性 
-s    侦测是否为『非空白档案』 
-u    侦测是否具有『 SUID 』的属性 
-g    侦测是否具有『 SGID 』的属性 
-k    侦测是否具有『 sticky bit 』的属性 
 
4.    两个档案之间的判断与比较 ;例如[ test file1 -nt file2 ] 
-------------------------------- 
-nt    第一个档案比第二个档案新 
-ot    第一个档案比第二个档案旧 
-ef    第一个档案与第二个档案为同一个档案( link 之类的档案) 
 
5.    逻辑的『和(and)』『或(or)』 
-------------------------------- 
&&    逻辑的 AND 的意思 
||    逻辑的 OR 的意思

五、Shell按位运算

a=3; b=2; if [ "$a && $b" ]; then echo true; else echo false; fi  #不会报错,,但是也体现不出来逻辑与 
 
a=3; b=2; c=$(( $a & $b )); if [ $c -ne 0 ]; then echo true; else echo false; fi; echo $c;  # 按位& 结果 true 2 
 
a=4; b=2; c=$(( $a | $b )); if [ $c -ne 0 ]; then echo true; else echo false; fi; echo $c; #success 按位| 结果 true 6 
 
a=3; b=2; c=$(( $a ^ $b )); if [ $c -ne 0 ]; then echo true; else echo false; fi; echo $c; #success 按位^ 结果 true 1 
 
a=7; c=$(( ~$a )); echo $c; # ~7的结果是-8,就是取反加1,是其补码 
 
a=1; c=$(( $a << 2 )); echo $c; # 1<<2=4 
 
a=8; c=$(( $a >> 2 )); echo $c; # 8>>2=2

$(( expression )) 格式提供运算表达式,例如进制转换的:

# echo $((16#47)) #打印71,表示打印16进制的47的值,为71 
 
# echo 'obase=16; 47' | bc #打印结果为2F,表示将47转换为16进制是0x2F

六、awk 命令

1.获取sf的pid,$3是获取tid

PID=`ps -AT | grep surfaceflinger | awk '{print $2}'`

2. 获取一个线程的pid并将其echo到指定文件中

echo `ps -elf | grep -v grep | grep <comm name> | awk '{print $2}'` > <file_name>

3. 查看系统中所有以 kworker 开头的线程的优先级

for P in `ps -elf | grep -v grep | grep kworker | awk '{print $2}'`; do echo $P; cat /proc/$P/comm; cat /proc/$P/sched | grep prio; done;

七、sed 命令

1. 删除包含指定字符串的行

sed -e '/abc/d'  a.txt  > a.log        #删除a.txt中含"abc"的行,将操作之后的结果保存到a.log 
sed '/abc/d;/efg/d' a.txt > a.log    #删除含字符串"abc"或“efg"的行,将结果保存到a.log

更多参考:https://www.cnblogs.com/hellokitty2/p/8068293.html

八、杂项

1. shell打印时间

date #Mon May 30 23:44:31 CST 2022 
ts1=`date +%Y%m%d%H%M%S`; #20220530233303 
ts2=`date +%Y-%m-%d_%H:%M:%S`; #2022-05-30_23:42:42 
echo $ts1; 
echo $ts2;

参考:

1.第 31 章 Shell脚本:https://akaedu.github.io/book/ch31.html

2.shell菜鸟教程:https://www.runoob.com/linux/linux-shell-basic-operators.html


本文参考链接:https://www.cnblogs.com/hellokitty2/p/12269126.html