linux---awk命令详细教程

awk是一种强大的编程语言，用于在Linux/Unix系统下对文本和数据进行处理。以下是对awk的详细教程：

一、awk简介

awk由Alfred Aho、Brian Kernighan和Peter Weinberger三人开发，其名称分别代表这三位作者姓氏的第一个字母。awk支持用户自定义函数和动态正则表达式等先进功能，是Linux/Unix下的一个强大编程工具。它在命令行中使用，但更多是作为脚本来使用。

二、awk命令格式和选项

awk命令的基本格式如下：

awk [options] 'script' var=value file(s)

或者

awk [options] -f scriptfile var=value file(s)

其中，常用的命令选项包括：

• -F fs：指定输入分隔符，fs可以是字符串或正则表达式，如-F:，默认的分隔符是连续的空格或制表符。
• -v var=value：赋值一个用户定义变量，将外部变量传递给awk。
• -m[fr] val：对val值设置内在限制。-mf选项限制分配给val的最大块数目；-mr选项限制记录的最大数目。这两个功能是Bell实验室版awk的扩展功能，在标准awk中不适用。

三、awk脚本结构

awk脚本由模式和操作组成。模式可以是正则表达式、关系表达式等，操作则是由一个或多个命令、函数、表达式组成，之间由换行符或分号隔开，并位于大括号内。

awk脚本的基本结构如下：

awk 'BEGIN{ print"start"} pattern{ commands } END{ print"end"}' file

一个awk脚本通常由BEGIN语句块、能够使用模式匹配的通用语句块、END语句块3部分组成，这三个部分是可选的。

• BEGIN语句块：在awk开始从输入流中读取行之前被执行，这是一个可选的语句块，比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中。
• END语句块：在awk从输入流中读取完所有的行之后即被执行，比如打印所有行的分析结果这类信息汇总都是在END语句块中完成，它也是一个可选语句块。
• pattern语句块：中的通用命令是最重要的部分，它也是可选的。如果没有提供pattern语句块，则默认执行{ print }，即打印每一个读取到的行。

四、awk内置变量

awk提供了许多内置变量，这些变量可以在awk脚本中直接使用。以下是一些常用的内置变量：

• $n：当前记录的第n个字段，比如n为1表示第一个字段，n为2表示第二个字段。
• $0：这个变量包含执行过程中当前行的文本内容。
• ARGC：命令行参数的数目。
• ARGIND：命令行中当前文件的位置（从0开始算）。
• ARGV：包含命令行参数的数组。
• CONVFMT：数字转换格式（默认值为%.6g）。
• ENVIRON：环境变量关联数组。
• ERRNO：最后一个系统错误的描述。
• FIELDWIDTHS：字段宽度列表（用空格键分隔）。
• FILENAME：当前输入文件的名。
• FNR：同NR，但相对于当前文件。
• FS：字段分隔符（默认是任何空格）。
• IGNORECASE：如果为真，则进行忽略大小写的匹配。
• NF：表示字段数，在执行过程中对应于当前的字段数。
• NR：表示记录数，在执行过程中对应于当前的行号。
• OFMT：数字的输出格式（默认值是%.6g）。
• OFS：输出字段分隔符（默认值是一个空格）。
• ORS：输出记录分隔符（默认值是一个换行符）。
• RS：记录分隔符（默认是一个换行符）。
• RSTART：由match函数所匹配的字符串的第一个位置。
• RLENGTH：由match函数所匹配的字符串的长度。
• SUBSEP：数组下标分隔符（默认值是34）。

五、awk操作

awk的操作部分可以包含变量或数组赋值、输出命令、内置函数和控制流语句等。

• 变量或数组赋值：可以在awk脚本中对变量或数组进行赋值操作。
• 输出命令：使用print或printf函数可以将处理结果输出到标准输出或文件中。
• 内置函数：awk提供了许多内置函数，如数学函数、字符串函数等，可以在脚本中直接使用。
• 控制流语句：awk支持if-else、while、for等控制流语句，用于实现复杂的逻辑控制。

六、awk示例

以下是一些awk的使用示例：

下面例子中filename表示目标文件

• 打印文件的全部内容：

  awk '{print}' filename
  

• 使用冒号作为字段分隔符，打印第一列：

  awk -F: '{print $1}' filename
  

• 搜索包含特定字符串的行，并打印整行内容：

  awk -F: '/search_string/{print $0}' filename
  

• 打印文件的总行数：

  awk 'END{print NR}' filename
  

• 使用BEGIN和END语句块进行初始化和汇总操作：

  awk 'BEGIN{sum=0} {sum+=$1} END{print sum}' filename
  

七、注意事项

• awk脚本中的字符串和正则表达式需要使用双引号或单引号括起来。
• 在awk脚本中，变量和字段的引用不需要使用$符号进行转义。
• awk默认以空格或制表符作为字段分隔符，但可以通过-F选项指定其他分隔符。

通过以上内容的学习，您可以掌握awk的基本用法和常见操作，并能够使用awk对文本和数据进行高效的处理和分析。