http://blog.chinaunix.net/uid-26707720-id-3084204.html
正则表达式介绍
使用s h e l l时，从一个文件中抽取多于一个字符串将会很麻烦。例如，在一个文本中抽取一个词，它的头两个字符是大写的，后面紧跟四个数字。如果不使用某种正则表达式，在s h e l l中将不能实现这个操作。
正则表达式是一种可以用于模式匹配和替换的强大工具，我们可以在很多unix程序中找到正则表达式的身影，例如vi，perl，PHP，awk，sed，emacs，grep等。
正则表达式常见的应用场合：
1.验证用户输入是否合法，如验证“xxx@xxx.xxx”的规则，其中x字符是字母，数字，下划线，小数点或减号，邮件地址的每一部分可以有一个或多个字符。
2.验证IP地址是否符合“yyy.yyy.yyy.yyy”的规则，且每个地址段小于255
3.……
基本元字符集及其含义
| ^ |
只匹配行首 |
| $ |
只匹配行尾 |
| * |
一个单字符后紧跟*，匹配0个或多个此单字符 |
| [] |
匹配[ ]内字符。可以是一个单字符，也可以是字符序列。可以使用-表示[ ]内字符序列范围，如用[ 1 - 5 ]代替[ 1 2 3 4 5 ] |
| \ |
只用来屏蔽一个元字符的特殊含义。因为有时在shell中一些元字符有特殊含义。\可以使其失去应有意义 |
| . |
只匹配任意单字符 |
| p a t t e r n \ { n \ } |
只用来匹配前面p a t t e r n出现次数。n为次数 |
| p a t t e r n \ { n，\ } |
含义同上，但次数最少为n |
| p a t t e r n \ { n，m \ } |
含义同上，但p a t t e r n出现次数在n与m之间 |
grep
相信grep是UNIX和LINUX中使用最广泛的命令之一。grep（全局正则表达式版本）允许对文本文件进行模式查找。如果找到匹配模式，grep打印包含模式的所有行。grep支持基本正则表达式，也支持其扩展集。grep有三种变形，即：
grep：标准grep命令，集中讨论此格式。
egrep：扩展grep，支持基本及扩展的正则表达式，但不支持\ q模式范围的应用，与之相对应的一些更加规范的模式，这里也不予讨论。
fgrep：快速grep。允许查找字符串而不是一个模式。不要误解单词fast，实际上它与grep速度相当。
grep一般格式为：
grep [选项]基本正则表达式[文件]
这里基本正则表达式可为字符串。
在grep命令中输入字符串参数时，最好将其用双引号括起来。例如：“m y s t r i n g”。
这样做有两个原因：
- 一是以防被误解为s h e l l命令；
- 二是可以用来查找多个单词组成的字符串。
常用的grep选项有：
1.-c只输出匹配行的计数。
2.-i不区分大小写（只适用于单字符）。
3.-h查询多文件时不显示文件名。
4.-l查询多文件时只输出包含匹配字符的文件名。
5.-n显示匹配行及行号。
6.-s不显示不存在或无匹配文本的错误信息。
7.-v显示不包含匹配文本的所有行
查询多个文件
如果要在当前目录下所有.c文件中查找字符串“sort”，方法如下：
grep "sort" *.c
或在所有文件中查询单词“sort it”
grep "sort it" *
- 行匹配
$ grep -c "12" data
grep返回数字4，意义是有4行包含字符串“12”。
现在显示包含“12”字符串的4行文本：
行数
显示满足匹配模式的所有行行数：
grep-n “13” data
- 显示非匹配行
显示所有不包含13的各行：
grep-v “13” data
- 精确匹配
grep“13<tab>” data?
- 大小写敏感
grep-i “sept” data
模式范围
指定查询字符串的范围
grep“13[23]” data
不匹配行首
grep“^[^12]” data
匹配大小写
grep“[Ss]ept” data
匹配任意字符
grep“IBM…” data
使用grep匹配“与”或者“或”模式
加参数- E允许使用扩展模式匹配
grep-E “1301|1303” data
匹配特殊字符
grep “\”” *
匹配IP地址
grep “
awk
awk命令，要格式化报文或从一个大的文本文件中抽取数据包。
整体来说，a w k是所有s h e l l过滤工具中最难掌握
1.复杂的语法
2.含义不明确的错误提示信息。
调用awk
awk|-F field-sperator | ‘command’ input-file(s)
- [ - F域分隔符]是可选项，a w k使用空格作为缺省的域分隔符；
如浏览像passwd这种以”:”分割的文件，需要指定选项：
awk -F: ‘command’ input-file
- command是真正的awk命令
l域参数
编号(1)生产日期(2)产品名称(3)价格(4)
l抽取域
awk ‘{print $1}’ data.txt
awk中的print命令把输入文件中选择的数据输出。
当awk读取文件的一行，根据指定的输入域分隔符把行分开，FS，awk的一个环境变量。它被预先定义为一个或者多个空格或者制表符。
变量$1,$2,$3,...,$N把输入行的第一第二第三直到最后一个域保存起来。变量$0把整行的值保存起来。在下面的图片描述中，我们看到df命令输出有6栏。
df | awk ‘{print $1 "\t\t" $5}’
打印第一列和第五列，中间用两个Tab隔开
域分隔符，既不是一个单独的字符也不是一个普通的表达式，是控制awk把一个输入分割成几个域。输入记录按分割定义进行字符顺序扫描；域就是在相符的那些文字中间的那部分。
域分隔符代表内建的变量FS。
域分隔符变量的值可以在awk程序中用赋值操作符=来改变。通常最好的执行时间是一开始也就是还没有处理任何输入的时候，因此第一个记录就被随合适的分隔符一起读取。使用特殊的BEGIN。
awk 'BEGIN { FS=":" } { print $1 "\t" $7 }' /etc/passwd
awk 'BEGIN { FS=":" } { printf "username:%s\t",$1;printf "home:%s\n",$7}' /etc/passwd
awk条件操作符
= =等于
!=不等于
<小于
> =大于等于
< =小于等于
~匹配正则表达式
!~不匹配正则表达式
匹配：
awk ‘{if($3~/IBM/) print }’ data.txt
如果第3个域字段包含IBM字符，则打印
- 精确匹配
awk ‘$3==“IBM” {print $0}’ data.txt
- 小于
awk ‘{if($1<“13”) print $0}’ data.txt
sed命令
s e d是一个非交互性文本流编辑器。它编辑文件或标准输入导出的文本拷贝。标准输入可能是来自键盘、文件重定向、字符串或变量，或者是一个管道的文本。
使用s e d实现的一个重要功能是在另一个系统中下载的文件中剔除控制字符
使用p(rint)显示行
1.显示指定行的内容
sed-n '2p'sed.txt
- 显示指定范围的内容
sed-n '1,3p'sed.txt
- 模式查找
匹配字符串worried，并显示此行的内容。格式/pattern/
sed-n '/worried/'p sed.txt
- …正则表达式
使用d删除行
sed'2d'sed.txt删除sed.txt文件的第二行
sed'2,$d'sed.txt删除sed.txt文件第二行到末尾所有行
sed'$d'sed.txt删除sed.txt文件的最后一行
sed '/worried/'d sed.txt删除sed.txt文件中所有包含worried的行。
思考：sed'/^$/d'sed.txt
使用s替换字符(串)
sed's/test/sedtest/g' sed.txt在整行范围内把test替换为sedtest
sed-n's/test/sedtest/p' sed.txt(-n)选项和p标志一起使用表示只打印那些发生替换的行