sed和awk编程
一、概念
sed为非交互式编辑器，可以文本文件和标准输入进行编辑，标准输入可以是由键盘来输入、文本重定向、字符串、变量甚至来自管道的文本；相对于vi编辑器sed一次性可以处理所有编辑任务，显得非常高效；sed一般使用于三种场合：
①编辑相对于交互式编辑器来说太大的文本；
sed [选项] ‘sed命令’ 输入文件
②编辑命令太复杂，在交互式文本编辑器难以输入的情况下；
sed [选项] -f sed脚本文件 输入文件
③对文件扫描完毕但是需要执行多个比编辑函数的情况；
./sed 脚本文件 输入文件
二、sed命令选项
文件input的内容:
Tish is Cretificate Request file:
It should be send to renyunjun!
eMail:yunjun.ren@163.com;
company:tct :
1、"-n"表示不打印文件的所有行；
例子：sed -n "3p" input 含义：打印出文件input中第三行的内容；
sed "3p" input 含义：不仅打印出第三行，会将文件的所有内容都打印出来，第三行会打印出2次；
sed -n "2,3p" input :打印出文件input内容的第2、3行；
sed -n '/yunjun/p' input：打印出文件中与yunjun匹配的所有行；
2、sed "-e"向sed传递多个命令的时候“-e”才能有用武之地；sed匹配关键字也是大小写敏感的；
sed -n -e '/yunjun/=' -e "/yunjun/p" input;
2
It should be send to renyunjun!
3
eMail:yunjun.ren@163.com;
3、sed "-f"只有调用sed脚本文件时才起作用，追加、插入、修改、删除、替换等；
sed '/yunjun/aThis is sed append msg!' input；
在匹配行后增加该内容：
Tish is Cretificate Request file:
It should be send to renyunjun!
This is sed append msg!
eMail:yunjun.ren@163.com;
This is sed append msg!
company:tct
（1）追加定位文本
新建脚本文件:append.sed内容如下：
/bin/sed -f
/yunjun/a #a表示此处需要换行添加文本
This is sed append msg!. #.换行添加文本
Append another new line!.
./append.sed input
输出：
Tish is Cretificate Request file:
It should be send to renyunjun!
This is sed append msg!.
Append another new line!.
eMail:yunjun.ren@163.com;
This is sed append msg!.
Append another new line!.
company:tct
②sed文本定位，匹配元字符，需要使用转义符""来进行屏蔽；
例子：sed -n '/./p' input
输出：eMail:yunjun.ren@163.com;
③“$”在正则表达式表示行尾，但是在sed中表示文件的最后一行：
例子：sed -n '$p' input
输出：company:tct
例子：sed -n '/.*com/p' input
匹配包含有com的任意行
④！表示取反，x,y!表示匹配不在x~y行号之外的行；
例子：sed -n '2,4!p' input 打印出input 文件中2~4行之外的所有行内容；
输出：Tish is Cretificate Request file:
⑤打印与“should”匹配的行到最后一行的内容：
sed -n '/should/,$p' input
输出：
It should be send to renyunjun!
eMail:yunjun.ren@163.com;
company:tct
⑥sed -n '/should/,3p' input打印与should匹配的行到第三行之间的内容；
输出：It should be send to renyunjun!
eMail:yunjun.ren@163.com;
（2）插入、修改、替换文本等操作
①插入
#!/bin/sed -f
/yunjun/i
insert an new Line!.
输出：Tish is Cretificate Request file:
insert an new Line!.
It should be send to renyunjun!
insert an new Line!.
eMail:yunjun.ren@163.com;
company:tct
②修改
#!/bin/sed -f
/yunjun/c
find yunjun modify here!.
输出：
Tish is Cretificate Request file:
find yunjun modify here!.
find yunjun modify here!.
company:tct
③替换
sed -n 's/yunjun/YUNJUN/p' input
输出：
It should be send to renYUNJUN!
eMail:YUNJUN.ren@163.com;
将输出内容重定向到output中
sed -n 's/yunjun/YUNJUN/w output' input
（3）写入文件“w”
sed -n "1,4 w output" input
则output文件的内容：
Tish is Cretificate Request file:
It should be send to renyunjun!
eMail:yunjun.ren@163.com;
company:tct
(4)从文本中读取文件“r”
readfile文件中的内容：
learn dan start
day day up
come on
input中内容：
Tish is Cretificate Request file:
It should be send to renyunjun!
eMail:yunjun.ren@163.com;
company:tct
sed '/on/r input' readfile 在input中的内容读取出来加在readfile文件中on的后面；
（5）退出命令“q”
sed '3 q' input
输出：
Tish is Cretificate Request file:
It should be send to renyunjun!
eMail:yunjun.ren@163.com;
（6）在定位行执行命令组{x;y}
sed -n -e '/yunjun/p' -e '/yunjun/=' input
sed -n '/yunjun/{p;=}' input
输出：
It should be send to renyunjun!
2
eMail:yunjun.ren@163.com;
3
二、awk命令选项 1、模式匹配
查找文件中空行，只要有一个空行就进行一次打印This is a blank line!
#!/usr/bin/awk -f
/^$/{printf("This is a blank line!n")}
2、记录和域
awk每个文件的输入行定义为记录，行中的每个字符串定义为域，域之间用空格、tab键或者其它符号进行分割，分割域 的符号叫做分隔符；
awk定义域操作符"$"来指定执行动作的域，域操作符“$”后面跟数字或者变量来标识域的位置；每一条记录的域重1开始编号，$1表示第一个域，$2表示第二个于，$0表示所有的域；
（1）awk打印域：
awk '{print $1,$2,$3,$4}' stu_recored
输出：
Li Hao njue 025-9998768
wang hao dsf 035-8627898
zhang san sds 035-7654456
Li Si dfdfg 025-5364555
（3）域操作符"$"后面跟变量或者变量表达式
awk 'BEGIN {one = 1;two = 2}{print $(one+two)}' stu_recored
打印输出所有记录的第三域：
输出：
njue
dsf
sds
dfdfg
（4）awk默认分隔符为空格键，将分割符由空格键改为Tab键，利用"-F"
awk -F"t" '{print $3}' stu_recored
输出结果为：
025-9998768
035-8627898
035-7654456
025-5364555
由此可以得出分隔符是可以转变的，不同的分割符可以将记录分成不同的域；
awk还提供了另一种方法来改变分割符，环境变量FS;将源文件stu_recored修改为如下：
Li Hao,njue,025-9998768
wang hao,dsf,035-8627898
zhang san,sds,035-7654456
Li Si,dfdfg,025-5364555
awk 'BEGIN{FS = ","} {print $0}' stu_recored
输出：
Li Hao,njue,025-9998768
wang hao,dsf,035-8627898
zhang san,sds,035-7654456
Li Si,dfdfg,025-5364555
（5）awk中关系运算符
1、~匹配正则表达式；!~不匹配正则表达式
awk 'BEGIN{FS = ":"} $1~/root/' /etc/passwd
匹配passwd文件中用:分割的域并匹配root的行打印出来；
2、awk中有if/if else/if else else三中条件语句
awk 'BEGIN {FS = ":"}{if($3>$4) print $0}' /etc/passwd
awk 'BEGIN {FS = ":"}{if(($3==117)||($4==15)) print $0}' /etc/passwd
3、表达式
awk变量的定义和赋值：
x = 1
y = "Good"
z = "very" "good"
分别将x,y,z赋值为：1，Good，very good
例子：打印input中的空行数
awk '/^$/{print x+=1}' input
例子，计算平均成绩
学生成绩信息：
Li Hao,njue,025-9998768,89,67,98,78
wang hao,dsf,035-8627898,78,98,99,97
zhang san,sds,035-7654456,56,67,89,79
Li Si,dfdfg,025-5364555 ,78,89,83,92
脚本如下：
#!/usr/bin/awk -f
BEGIN {FS = ","}
{total = $4+$5+$6+$7
arv = total/4
print $1,arv}
执行脚本输出如下：
Li Hao 83
wang hao 93
zhang san 72.75
Li Si 85.5
（6）系统变量
awk定义了很多内建变量用于环境设置，称为系统变量；
awk 'BEGIN {FS=","} {print NF,NR,$0} END {print FILENAME}' stu_recored
打印出stu_recored文件中的每条记录的域数，文件的记录数以及文件结尾时打印出文件名；
7 1 Li Hao,njue,025-9998768,89,67,98,78
7 2 wang hao,dsf,035-8627898,78,98,99,97
7 3 zhang san,sds,035-7654456,56,67,89,79
7 4 Li Si,dfdfg,025-5364555 ,78,89,83,92
stu_recored
（7）格式化输出
awk一大功能是产生报表，报表要求按一定的格式输出，awk定义了printf输出语句，可以规定输出的格式；
例子：参数是变量列表
awk 'BEGIN{FS = ","}{printf("%s,%dn",$1,$6)}' stu_recored
输出：
Li Hao,98
wang hao,99
zhang san,89
Li Si,83
转换为ASCII字符
awk 'BEGIN{printf("%cn",65)}'
输出:A
转换为浮点数：
awk 'BEGIN{printf("%fn",2016)}'
输出：2016.000000
格式输出增加注释：
awk 'BEGIN{FS = ",";print "namettTelphon"}{printf("%-15st%sn",$1,$3)}' stu_recored
输出：
name
Telphon
Li Hao 025-9998768
wang hao 035-8627898
zhang san 035-7654456
Li Si 025-5364555
（8）内置字符串函数
awk提供了强大的内置字符串函数，用于实现文本字符串的查找、替换、分割等；
①将zhang san替换成wang er,gsub(r,x)或gsub（r,x,w）分别是将x替换成r和在w中用x替换r；
Li Hao,njue,025-9998768,89,67,98,78
wang hao,dsf,035-8627898,78,98,99,97
zhang san,sds,035-7654456,56,67,89,79
Li Si,dfdfg,025-5364555 ,78,89,83,92
执行：awk 'BEGIN{FS = ",";OFS = ","}{gsub(/zhang san/,"wang er",$1)}{print $0}' stu_recored
Li Hao,njue,025-9998768,89,67,98,78
wang hao,dsf,035-8627898,78,98,99,97
wang er,sds,035-7654456,56,67,89,79
Li Si,dfdfg,025-5364555 ,78,89,83,92
②index(r,x)返回x在r字符串第一次出现的位置：
awk 'BEGIN{FS = ","}{print index($1,"hao")}' stu_recored
输出：
0
6
0
0
③length(s)返回s字符串长度
awk 'BEGIN{FS = ","}{print length($1)}' stu_recored
输出：
6
8
9
5
④match(s,t)测试s是否包含匹配t的字符串；
awk 'BEGIN{print match("xhang san",/san/)}'
输出：7
⑤sub(r,x,w)将w中第一次出现r替换成x;
awk 'BEGIN{str = "";print sub(/hel/,"HEL",str);printf("%sn",str)}'
输出：
1
HELlo world!
awk 'BEGIN{FS = ","}{$1~wang sub(/27/,"99",$0);print $0}' stu_recored
输出：
Li Hao,njue,025-9998768,89,67,98,78
wang hao,dsf,035-8699898,78,98,99,97
zhang san,sds,035-7654456,56,67,89,79
Li Si,dfdfg,025-5364555 ,78,89,83,92
⑥substr(r,s,t )返回字符串从s开头长度为t的字符串；
awk 'BEGIN{str = "helloworld!";print substr(str,6,6)}'
输出：world!
（9）向awk脚本传递参数；
#!/usr/bin/awk -f
NF!MAX
{printf("The line "NR" dose not have "MAX" filds!n")}
执行：
./pass.awk MAX=7 FS="," stu_recored
输出：
Li Hao,njue,025-9998768,89,67,98,78
The line 1 dose not have 7 filds!
wang hao,dsf,035-8627898,78,98,99,97
The line 2 dose not have 7 filds!
zhang san,sds,035-7654456,56,67,89,79
The line 3 dose not have 7 filds!
Li Si,dfdfg,025-5364555 ,78,89,83,92
The line 4 dose not have 7 filds!
在stu_recored每一条记录前面增加行号并全部输出：
awk 'BEGIN{FS=","}{print NR,$0}' OFS="." stu_recored
输出：
1.Li Hao,njue,025-9998768,89,67,98,78
2.wang hao,dsf,035-8627898,78,98,99,97
3.zhang san,sds,035-7654456,56,67,89,79
4.Li Si,dfdfg,025-5364555 ,78,89,83,92
OFS="."定义的输出输出分隔符增加在NR和$0之间;
下载文档
