正则表达式是一种符号表示法，被用来识别文本模式。在某种程度上，它们与匹配 文件和路径名的 shell 通配符比较相似，但其规模更庞大。许多命令行工具和大多数的编程语言 都支持正则表达式，以此来帮助解决文本操作问题。
一、正则表达式的字符组成
^$.[]{}-?*+()|\
二、grep
grep 程序会在文本文件中查找一个指定的正则表达式，并把匹配行输出到标准输出。
[root@node1~]#greproot/etc/passwd root:x:0:0:root:/root:/bin/bash operator:x:11:0:operator:/root:/sbin/nologin
这个命令列出了文件/etc/passwd中含有root的行。
语法规则:
grep [options] regex [file……]
其中regex是正则表达式
常用选项
选项描述
-i忽略大小写。不会区分大小写字符。也可用--ignore-case 来指定。
-v不匹配。通常，grep 程序会打印包含匹配项的文本行。这个选项导致 grep 程序 只会不包含匹配项的文本行。也可用--invert-match 来指定。
-c打印匹配的数量（或者是不匹配的数目，若指定了-v 选项），而不是文本行本身。 也可用--count 选项来指定。
-l打印包含匹配项的文件名，而不是文本行本身，也可用--files-with-matches 选项来指定。
-L相似于-l 选项，但是只是打印不包含匹配项的文件名。也可用--files-without-match 来指定。
-n在每个匹配行之前打印出其位于文件中的相应行号。也可用--line-number 选项来指定。
-h应用于多文件搜索，不输出文件名。也可用--no-filename 选项来指定。
-E 增强型的grep程序
root@node1~]#grep-llhl* grep:160822.bak:Isadirectory a.txt grep:bin:Isadirectory username.conf [root@node1~]#grep"^lhl"a.txt//以lhl开头的行 lhl:x:0:0:lhl:/lhl:/bin/bash [root@node1~]#grep"bash$"a.txt//以bash结尾的行 lhl:x:0:0:lhl:/lhl:/bin/bash [root@node1~]#grep-n\'a.txt//\的作用取消字符反义 12:uucp:x:10:14:'uucp':/var/spool/uucp:/sbin/nologin [root@node1~]#grepl[az]a.txt//查找以l之后从a~z的行 saslauth:x:499:76:Saslauthduser:/var/empty/saslauth:/sbin/nologin [root@node1~]#grep-v"^#"a.txt//查找不一警号开头的行 lhl:x:0:0:lhl:/lhl:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin [root@node1~]#grep[4,6]-na.txt//有数字4~6的行 4:#adm:x:3:4:adm:/var/adm:/sbin/nologin 5:#lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin 9:#shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown [root@xuegod60~]#grep^g.*ga.txt//以g开头和以g结束的行 games:x:12:100:games:/usr/games:/sbin/nologin
注意：
\? 用于修饰前导字符，表示前导字符出现0或1次
\+ 用于修饰前导字符，表示前导字符出现1或多次 例：a\+匹配1或多个a
\{n,m\} 用于修饰前导字符，表示前导字符出现n至m次（n和m都是整数，且n<m）
例：a\{3,5\}匹配3至5个连续的a
[root@node1~]#grep'lhl\{1,2\}'a.txt//出现lhl的行在1个或2个
lhl:x:0:0:lhl:/lhl:/bin/bash
#operator:x:11:0:operator:/lhl:/sbin/nologin
[root@node1~]#grep'\<lhl\>'a.txt//精确匹配
二、sed编辑器
sed是一种在线编辑器，其处理方式是每次处理一行内容，处理时，把当前的行存储在临时缓冲区中，sed则直接处理缓冲区中的内容，并将处理过后的内容送往屏幕显示，接着处理下一行直至文件内容末尾。
sed语法：
sed [选项] '[命令]' 文件
选项及参数
-n抑制自动(默认的)输出***读取下一个输入行 -e表示直接在命令行模式上进行sed的操作，是默认的选项，可以不写 -f将sed操作写在一个文件里，用的的方法则是：“-ffilename”就可以按照内容进行sed的操作了。 -i表示插入，后接字符串，添加到当前行的上一行 -i.bak编辑的同时创造.bak的备份 -r使用扩展的正则表达式*** 参数: a在匹配后追加*** i在匹配前插入*** p打印某个选择数据，通常与-n安静模式一起使用。*** d删除*** r/R读取文件/一行 w另存 s查找，还可以替换，可参考vim里面的搜索替换功能。%s/root/lhl/g全部替换。 c替换，后接字符串，用它代替n1到n2行之间的行 y替换 h/H复制拷贝/追加模式空间(缓冲区)到存放空间 g/G粘贴从存放空间取回/追加到模式空间 x两个空间内容的交换 n/N拷贝/追加下一行内容到当前 D删除\n之前的内容 P打印\n之前的内容 b无条件跳转 t满足匹配后的跳转 T不满足匹配时跳转
常用分隔符：_、/、|、.等
[root@node1 ~]# sed 's/lhl/root/g' a.txt //替换操作
用 & 表示匹配的字符串
[root@xuegod60 ~]# sed 's/root/(&)/' /etc/passwd>
sed 默认只替换搜索字符串的第一次出现,利用 /g 可以替换搜索字符串所有
[root@node1~]#sed-e'3,5s/nologin/bash/'-e'9,11s/sbin/bin/'passwd>b.txt//同时替换多项内容：-e [root@node1~]#sed-n'3p'passwd#显示文件第三行 daemon:x:2:2:daemon:/sbin:/sbin/nologin [root@node1~]#cat-n/etc/passwd|sed-n'2,5p'//显示2―5行的内容p与-n选项配合使用 2bin:x:1:1:bin:/bin:/sbin/nologin 3daemon:x:2:2:daemon:/sbin:/sbin/nologin 4adm:x:3:4:adm:/var/adm:/sbin/nologin 5lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin [root@node1test]#sed-n'1,3!p'passwd//显示文件除前三行之外的全部内容 [root@node1~]#cat-n/etc/passwd|sed-n'3,+3p'//显示第三行及第三行之后的内容 3daemon:x:2:2:daemon:/sbin:/sbin/nologin 4adm:x:3:4:adm:/var/adm:/sbin/nologin 5lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin 6sync:x:5:0:sync:/sbin:/bin/sync [root@node1~]#sed'1i###'passwd//在文件头插入“###”如果没有1的话则是在每一行之前插入### [root@node1~]#sed'$a@@@'passwd//在文件尾插入"@@@"
注意：nl命令在linux系统中用来计算文件中行号。nl可以将输出的文件内容自动的加上行号
[root@node1~]#sed'2ahello\//在文件的第二行后插入两行内容 >howareyour?'passwd [root@node1~]#sed'3c$$$'passwd//把文件第三行替换成“$$$” [root@node1~]#sed'$c####'passwd//把文件的最后一行替换成#### [root@node1~]#nl/etc/passwd|sed'2ahello'//nl显示行号，而空行的行号则不显示 注意： sed的-i选项可以直接修改文件中的内容 [root@node1~]#sed-i's/root/rm/'passwd 复制粘贴 把文件的第二行到第四行复制到文件的末尾 [root@node1~]#sed'2,4H;$G'passwd>b.txt h/H复制拷贝/追加模式空间(缓冲区)到存放空间 g/G粘贴从存放空间取回/追加到模式空间 删除空行d删除*** [root@node1~]#sed'/^$/d'passwd>c.txt//删除空行显示 [root@node1~]#sed'/xfs/wnewfstab'/etc/fstab//把fstab中包含xfs的记录（行）写入新的文件中
[root@node1 ~]# cat a.txt | sed 's/#.*$//g' | sed '/^$/d' //删除文件的注释部分并删除空行。
[root@node1 ~]# cat a.txt | sed 's/^[ ]* //g' //删除行首空格
[root@node1 ~]# sed -i "s/lhl/$var1/g" a.txt //变量替换
[root@node1 ~]# cat a.txt
###:x:0:0:###:/###:/bin/bash
awk的应用
（1）打印出eth0ip地址。
[root@node1 ~]# ifconfig eth0 | grep "inet addr:" | awk -F [:" "]+ '{print $4}'
192.168.213.100
或：
[root@node1 ~]# ifconfig eth0 | grep "inet addr:" | awk -F: '{print $2}' | awk '{print $1}'
192.168.213.100
awk的默认分隔符是空格，默认输出是$0,一整行内容。
awk '/root/{print}' passwd 或awk '/root/' passwd从 //打印出文件passwd中包含root的行
awk 'length$0>40 {print NR $0}' Nginxd,sh //显示文件Nginxd.sh内容中超过40个字符的行号。其中NR作为awk的内置标志符不需要使用$符号，而如果引用自定义变量只需要$符号，且自定义变量需要与awk保留字不同。
awk '/[Rr]estart/,/[Rr]eload/ {print $1}' Nginxd,sh //显示文件Nginxd.sh中包含Restart/restart和Reload/reload的行中第一个字符。
解释：awk -F [:" "]表示awk 以空格作为分隔符，然后打印出第4列参数