awk工具-白红宇

awk工具

阅读量：6258 次

发布时间：2019-06-22

本文共 11567 字，大约阅读时间需要 38 分钟。

awk工具

awk也是流式编辑器，针对文档中的行来操作，一行一行地执行，awk兼具sed的所有功能，而且更加强大，awk工具其实是很复杂的（有专门的书来介绍它的应用，有兴趣的话自己可以去深入了解）。

截取文档中的某个段

# awk -F ':' '{print $1}' test.txt

root

bin

daemon

adm

sync

...

# awk -F ':' '{print $1,$2,$3}' test.txt

root x 0

bin x 1

daemon x 2

...

# awk -F ':' '{print $0}' test.txt

root:x:0:0:root:/root:/bin/bash

bin:x:1:1:bin:/bin:/sbin/nologin

daemon:x:2:2:daemon:/sbin:/sbin/nologin

adm:x:3:4:adm:/var/adm:/sbin/nologin

...

说明：本例中，-F选项的作用就是指定分隔符，print为打印的动作，用来打印某个字段。$1为第1个字段，$2为第二个字段，以些类推，但$0比较特殊，它表示整行。

注意awk的格式，-F后面紧跟单引号，单引号里面为分隔符，print的动作要用{}括起来，否则会报错，print还可以打印自定义的内容，但是自定义的内容要用双引号括起来，如下所示：

# awk -F ':' '{print $1"#"$2"#"$3"#"$4}' test.txt

root#x#0#0

bin#x#1#1

daemon#x#2#2

adm#x#3#4

...

匹配字符或者字符串

# awk '/00/' test.txt

games:x:12:100:games:/usr/games:/sbin/nologin

aming:x:1000:1005::/home/aming:/bin/bash

user1:x:1001:1001::/home/user1:/bin/bash

aminglinux:x:1002:1002::/home/aminglinux:/bin/bash

user2:x:1003:1003::/home/user2:/bin/bash

user3:x:1004:1005::/home/user3:/bin/bash

user4:x:1006:1005::/home/aming111:/sbin/nologin

user5:x:1007:1007::/home/user5:/bin/bash

user6:x:1008:1010::/home/user6:/bin/bash

说明：这跟sed的用法类似，能实现grep的功能，但没有颜色显示，肯定没有grep用起来方便，不过awk还有比sed更强大的匹配，如下所示：

# awk -F ':' '$1 ~ /oo/' test.txt

root:x:0:0:root:/root:/bin/bash

它可以让某个段匹配，这里的~就是匹配的意思，awk还可以多次匹配，如下所示：

# awk -F ':' '/root/ {print $1,$3} /user/ {print $1,$3,$4}' test.txt

root 0

operator 11

tss 59 59

user1 1001 1001

user2 1003 1003

user3 1004 1005

user4 1006 1005

user5 1007 1007

user6 1008 1010

上例中awk匹配完root，再匹配user，它还可以只打印所匹配的段。

awk也支持正则表达式，示例如下：

# awk -F ':' '$1 ~ /o+/' test.txt

root:x:0:0:root:/root:/bin/bash

daemon:x:2:2:daemon:/sbin:/sbin/nologin

shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

operator:x:11:0:operator:/root:/sbin/nologin

nobody:x:99:99:Nobody:/:/sbin/nologin

systemd-bus-proxy:x:999:997:systemd Bus Proxy:/:/sbin/nologin

systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin

polkitd:x:998:996:User for polkitd:/:/sbin/nologin

postfix:x:89:89::/var/spool/postfix:/sbin/nologin

chrony:x:997:995::/var/lib/chrony:/sbin/nologin

# awk -F ':' '$1 ~ /oo+/' test.txt

root:x:0:0:root:/root:/bin/bash

条件操作符

# awk -F ':' '$3==0' test.txt

root:x:0:0:root:/root:/bin/bash

awk可以用逻辑符号进行判断，比如==就是等于，也可以理解为精确匹配，另外还有>、>=、<、<=、！=等，值得注意的是，在和数字比较时，若把比较的数字用双引号引起来，那么awk不会认为是数字，而会认为是字符，不加双引号则会认为是数字。

# awk -F ':' '$3>="1000" {print $0}' test.txt

daemon:x:2:2:daemon:/sbin:/sbin/nologin

adm:x:3:4:adm:/var/adm:/sbin/nologin

lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

sync:x:5:0:sync:/sbin:/bin/sync

shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

halt:x:7:0:halt:/sbin:/sbin/halt

mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

operator:x:11:0:operator:/root:/sbin/nologin

games:x:12:100:games:/usr/games:/sbin/nologin

ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

nobody:x:99:99:Nobody:/:/sbin/nologin

systemd-bus-proxy:x:999:997:systemd Bus Proxy:/:/sbin/nologin

systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin

dbus:x:81:81:System message bus:/:/sbin/nologin

polkitd:x:998:996:User for polkitd:/:/sbin/nologin

tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin

postfix:x:89:89::/var/spool/postfix:/sbin/nologin

sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin

chrony:x:997:995::/var/lib/chrony:/sbin/nologin

aming:x:1000:1005::/home/aming:/bin/bash

user1:x:1001:1001::/home/user1:/bin/bash

aminglinux:x:1002:1002::/home/aminglinux:/bin/bash

user2:x:1003:1003::/home/user2:/bin/bash

user3:x:1004:1005::/home/user3:/bin/bash

user4:x:1006:1005::/home/aming111:/sbin/nologin

user5:x:1007:1007::/home/user5:/bin/bash

user6:x:1008:1010::/home/user6:/bin/bash

上例中，目的是想把uid大于等于1000的行打印出来，但是结果并不理想，这是因为awk把所有的数字当作字符了，就跟上一章中提到的sort排序原理一样，但如果不加双引号就得到了想要的结果，示例如下：

# awk -F ':' '$3>=1000 {print $0}' test.txt

aming:x:1000:1005::/home/aming:/bin/bash

user1:x:1001:1001::/home/user1:/bin/bash

aminglinux:x:1002:1002::/home/aminglinux:/bin/bash

user2:x:1003:1003::/home/user2:/bin/bash

user3:x:1004:1005::/home/user3:/bin/bash

user4:x:1006:1005::/home/aming111:/sbin/nologin

user5:x:1007:1007::/home/user5:/bin/bash

user6:x:1008:1010::/home/user6:/bin/bash

下例中，！=表示不匹配，它除了针对某一个段的字符进行逻辑比较外，还可以在两个段之前进行逻辑比较，如下所示：

# awk -F ':' '$7!="/sbin/nologin" {print $0}' test.txt

root:x:0:0:root:/root:/bin/bash

sync:x:5:0:sync:/sbin:/bin/sync

shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

halt:x:7:0:halt:/sbin:/sbin/halt

aming:x:1000:1005::/home/aming:/bin/bash

user1:x:1001:1001::/home/user1:/bin/bash

aminglinux:x:1002:1002::/home/aminglinux:/bin/bash

user2:x:1003:1003::/home/user2:/bin/bash

user3:x:1004:1005::/home/user3:/bin/bash

user5:x:1007:1007::/home/user5:/bin/bash

user6:x:1008:1010::/home/user6:/bin/bash

# awk -F ':' '$3<$4 {print $0}' test.txt

adm:x:3:4:adm:/var/adm:/sbin/nologin

lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

games:x:12:100:games:/usr/games:/sbin/nologin

ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

aming:x:1000:1005::/home/aming:/bin/bash

user3:x:1004:1005::/home/user3:/bin/bash

user6:x:1008:1010::/home/user6:/bin/bash

另外还可以使用&&和||，它们分别表示：“并且”和“或者”

&&用法如下：

# awk -F ':' '$3>"5" && $3<"7"' test.txt

shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin

||用法如下：

# awk -F ':' '$3>1000 || $7=="/sbin/nologin"' test.txt

bin:x:1:1:bin:/bin:/sbin/nologin

daemon:x:2:2:daemon:/sbin:/sbin/nologin

adm:x:3:4:adm:/var/adm:/sbin/nologin

lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

operator:x:11:0:operator:/root:/sbin/nologin

games:x:12:100:games:/usr/games:/sbin/nologin

ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

nobody:x:99:99:Nobody:/:/sbin/nologin

systemd-bus-proxy:x:999:997:systemd Bus Proxy:/:/sbin/nologin

systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin

dbus:x:81:81:System message bus:/:/sbin/nologin

polkitd:x:998:996:User for polkitd:/:/sbin/nologin

tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin

postfix:x:89:89::/var/spool/postfix:/sbin/nologin

sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin

chrony:x:997:995::/var/lib/chrony:/sbin/nologin

user1:x:1001:1001::/home/user1:/bin/bash

aminglinux:x:1002:1002::/home/aminglinux:/bin/bash

user2:x:1003:1003::/home/user2:/bin/bash

user3:x:1004:1005::/home/user3:/bin/bash

user4:x:1006:1005::/home/aming111:/sbin/nologin

user5:x:1007:1007::/home/user5:/bin/bash

user6:x:1008:1010::/home/user6:/bin/bash

# awk -F ':' '$3>1000 || $7 ~ /bash/' test.txt

root:x:0:0:root:/root:/bin/bash

aming:x:1000:1005::/home/aming:/bin/bash

user1:x:1001:1001::/home/user1:/bin/bash

aminglinux:x:1002:1002::/home/aminglinux:/bin/bash

user2:x:1003:1003::/home/user2:/bin/bash

user3:x:1004:1005::/home/user3:/bin/bash

user4:x:1006:1005::/home/aming111:/sbin/nologin

user5:x:1007:1007::/home/user5:/bin/bash

user6:x:1008:1010::/home/user6:/bin/bash

awk的内置变量

awk常用的变量有OFS、NF、NR，OFS和-F选项有类似的功能，也是和来定义分隔符的，但是它是在输出的时候定义，NF表示用分隔符分隔后一共有多少段，NR表示行号。

OFS的用法示例如下：

# awk -F ':' '{OFS="#"} {if ($3>1000) {print $1,$2,$3,$4}}' test.txt

user1#x#1001#1001

aminglinux#x#1002#1002

user2#x#1003#1003

user3#x#1004#1005

user4#x#1006#1005

user5#x#1007#1007

user6#x#1008#1010

Nf的用法，表示多少段，$NF是最后一段的值，用法如下：

# awk -F ':' '{print NF":"$0}' test.txt

7:root:x:0:0:root:/root:/bin/bash

7:bin:x:1:1:bin:/bin:/sbin/nologin

7:daemon:x:2:2:daemon:/sbin:/sbin/nologin

7:adm:x:3:4:adm:/var/adm:/sbin/nologin

7:lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

7:sync:x:5:0:sync:/sbin:/bin/sync

7:shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

7:halt:x:7:0:halt:/sbin:/sbin/halt

7:mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

7:operator:x:11:0:operator:/root:/sbin/nologin

7:games:x:12:100:games:/usr/games:/sbin/nologin

7:ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

7:nobody:x:99:99:Nobody:/:/sbin/nologin

7:systemd-bus-proxy:x:999:997:systemd Bus Proxy:/:/sbin/nologin

7:systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin

7:dbus:x:81:81:System message bus:/:/sbin/nologin

7:polkitd:x:998:996:User for polkitd:/:/sbin/nologin

7:tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin

7:postfix:x:89:89::/var/spool/postfix:/sbin/nologin

7:sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin

7:chrony:x:997:995::/var/lib/chrony:/sbin/nologin

7:aming:x:1000:1005::/home/aming:/bin/bash

7:user1:x:1001:1001::/home/user1:/bin/bash

7:aminglinux:x:1002:1002::/home/aminglinux:/bin/bash

7:user2:x:1003:1003::/home/user2:/bin/bash

7:user3:x:1004:1005::/home/user3:/bin/bash

7:user4:x:1006:1005::/home/aming111:/sbin/nologin

7:user5:x:1007:1007::/home/user5:/bin/bash

7:user6:x:1008:1010::/home/user6:/bin/bash

NR的用法，表示多少行，用法如下：

# awk -F ':' '{print NR":"$0}' test.txt

1:root:x:0:0:root:/root:/bin/bash

2:bin:x:1:1:bin:/bin:/sbin/nologin

3:daemon:x:2:2:daemon:/sbin:/sbin/nologin

4:adm:x:3:4:adm:/var/adm:/sbin/nologin

5:lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

6:sync:x:5:0:sync:/sbin:/bin/sync

7:shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

8:halt:x:7:0:halt:/sbin:/sbin/halt

9:mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

10:operator:x:11:0:operator:/root:/sbin/nologin

11:games:x:12:100:games:/usr/games:/sbin/nologin

12:ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

13:nobody:x:99:99:Nobody:/:/sbin/nologin

14:systemd-bus-proxy:x:999:997:systemd Bus Proxy:/:/sbin/nologin

15:systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin

16:dbus:x:81:81:System message bus:/:/sbin/nologin

17:polkitd:x:998:996:User for polkitd:/:/sbin/nologin

18:tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin

19:postfix:x:89:89::/var/spool/postfix:/sbin/nologin

20:sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin

21:chrony:x:997:995::/var/lib/chrony:/sbin/nologin

22:aming:x:1000:1005::/home/aming:/bin/bash

23:user1:x:1001:1001::/home/user1:/bin/bash

24:aminglinux:x:1002:1002::/home/aminglinux:/bin/bash

25:user2:x:1003:1003::/home/user2:/bin/bash

26:user3:x:1004:1005::/home/user3:/bin/bash

27:user4:x:1006:1005::/home/aming111:/sbin/nologin

28:user5:x:1007:1007::/home/user5:/bin/bash

29:user6:x:1008:1010::/home/user6:/bin/bash

还可以使用NR作为判断条件，如下所示：

# awk -F ':' 'NR<=10' test.txt

root:x:0:0:root:/root:/bin/bash

bin:x:1:1:bin:/bin:/sbin/nologin

daemon:x:2:2:daemon:/sbin:/sbin/nologin

adm:x:3:4:adm:/var/adm:/sbin/nologin

lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

sync:x:5:0:sync:/sbin:/bin/sync

shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

halt:x:7:0:halt:/sbin:/sbin/halt

mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

operator:x:11:0:operator:/root:/sbin/nologin

[root@aminglinux-01 awk]# awk -F ':' 'NR<=10 && $1 ~ /root|sync/' test.txt

root:x:0:0:root:/root:/bin/bash

sync:x:5:0:sync:/sbin:/bin/sync

[root@aminglinux-01 awk]# awk -F ':' 'NF==7 && $1 ~ /root|sync/' test.txt

root:x:0:0:root:/root:/bin/bash

sync:x:5:0:sync:/sbin:/bin/sync

awk中的数学运算

awk可以更改段值，示例如下：

# head -n 3 test.txt |awk -F ':' '$1="root"'

root x 0 0 root /root /bin/bash

root x 1 1 bin /bin /sbin/nologin

root x 2 2 daemon /sbin /sbin/nologin

awk也可以对各个段的值进行数学运算，示例如下：

# head -n2 test.txt

root:x:0:0:root:/root:/bin/bash

bin:x:1:1:bin:/bin:/sbin/nologin

# head -n2 test.txt |awk -F ':' '{$7=$4+$3}'

# head -n2 test.txt |awk -F ':' '{$7=$4+$3; print $o}'

root x 0 0 root /root 0

bin x 1 1 bin /bin 2

awk还可以计算某个段的总和，示例如下：

# awk -F ':' '{(tot=tot+$3)}; END {print tot}' test.txt

11692

这里的END是awk特有的语法，表示所有的行都已经执行，其实awk连同sed都可以写成一个脚本文件，而且有它们特有的语法，在awk中使用if判断、for都可以。

转载于:https://blog.51cto.com/ccj168/2062226

你可能感兴趣的文章

Net操作配置文件（Web.config|App.config）通用类

查看>>

文本编辑器实例

查看>>

EntityFramework之一对一关系（二）

查看>>

我心中的核心组件（可插拔的AOP）~调度组件quartz.net续~任务管理器的开发(CronTrigger强大功能)...

查看>>

Html2Text

查看>>

spring boot + mybatis实现一对一，一对多的样码之一种

查看>>

Android OpenGL ES 应用(二) 纹理

查看>>

谈谈D2

查看>>

解决li在ie,firefox中行高不一致问题

查看>>

[译] OpenStack Liberty 版本中的53个新变化

查看>>

How to mount usb device in CentOS?

查看>>

机器学习中的贝叶斯方法---当后验分布无法计算时如何求得预测模型？

查看>>

Kali无法定位软件包的解决方案

查看>>

Webwork 学习之路【01】Webwork与 Struct 的前世今生

Elasticsearch之head插件安装之后的浏览详解

查看>>

zabbix监控-基本原理介绍

查看>>

循环神经网络(RNN)模型与前向反向传播算法

查看>>

使用bash编写Linux shell脚本--参数和子壳

查看>>