Linux awk 命令：文本处理的瑞士军刀

awk 是 Linux 下最强大的文本处理工具之一名字取自三位创始人 Aho、Weinberger、Kernighan 的姓氏首字母。很多人只用它做简单的列提取其实 awk 的能力远不止于此。awk 的核心模型awk 的工作流程可以概括为awk pattern { action } filepattern匹配条件正则、表达式、范围action执行的操作打印、计算、变量赋值对于每一行awk 会自动按分隔符分割字段默认空格字段存入$1, $2, $3...整行是$0检查 pattern匹配则执行 action# 提取第一列和第三列awk{ print $1, $3 }data.txt# 只处理包含 error 的行awk/error/ { print $0 }app.log# 计算文件总行数awkEND { print NR }data.txtNR是内置变量表示当前行号Number of Records。END是特殊模式在所有行处理完后执行。字段分隔符不只是空格-F参数指定字段分隔符# CSV 文件按逗号分割awk-F,{ print $1, $3 }data.csv# 使用正则表达式一个或多个空格awk-F[ ]{ print $1 }data.txt# 多字符分隔符awk-F|{ print $1 }data.txt也可以在脚本内设置FSField SeparatorawkBEGIN { FS , } { print $1, $3 }data.csvBEGIN在处理任何行之前执行常用于初始化变量。内置变量的秘密awk 提供了多个内置变量变量含义$0整行内容$1~$n第 n 个字段NF当前行字段数Number of FieldsNR当前行号全局FNR当前行号当前文件FS字段分隔符OFS输出字段分隔符RS行分隔符ORS输出行分隔符NF的妙用引用最后一个字段# 打印每行的最后一个字段awk{ print $NF }data.txt# 打印倒数第二个字段awk{ print $(NF-1) }data.txt条件判断与循环awk 支持if-else和for/while循环# 按条件过滤并标记awk{ if ($3 100) { print $1, HIGH } else { print $1, NORMAL } }data.txt# 计算每行的字段和awk{ sum 0 for (i 1; i NF; i) { sum $i } print sum }numbers.txt数组与统计awk 的数组是关联数组associative array键可以是任意字符串# 统计每个单词出现次数awk{ for (i 1; i NF; i) { count[$i] } } END { for (word in count) { print word, count[word] } }text.txt# 按访问量统计 HTTP 状态码awk{ count[$9] } END { for (code in count) print code, count[code] }access.log这段代码中$9是 Nginx 日志的状态码字段假设标准格式。实战案例分析 Nginx 访问日志假设日志格式192.168.1.1 - - [10/May/2026:10:30:45 0800] GET /api/users HTTP/1.1 200 1234 - Mozilla/5.01. 统计 Top 10 访问 IPawk{ print $1 }access.log|sort|uniq-c|sort-rn|head-10纯 awk 实现awk{ ip[$1] } END { for (i in ip) print ip[i], i }access.log|sort-rn|head-102. 计算平均响应时间假设日志格式包含响应时间最后一个字段awk{ total $NF count } END { print Average:, total/count, ms }access.log3. 提取 4xx 和 5xx 错误# 提取所有 4xx 和 5xx 状态码的请求awk$9 ~ /^[45][0-9][0-9]$/ { print $0 }access.log# 统计错误类型分布awk$9 ~ /^[45][0-9][0-9]$/ { errors[$9] } END { for (code in errors) print code, errors[code] }access.log~是正则匹配操作符$9 ~ /^.../表示第 9 个字段匹配正则。性能优化技巧1. 跳过无效行用next跳过不需要处理的行awk/^#/ { next } { print $1 }config.conf跳过注释行以#开头。2. 只处理前 N 行awkNR 100 { exit } { print $1 }data.txt处理前 100 行后退出避免读取整个大文件。3. 多文件处理时的 FNR当处理多个文件时NR是全局行号FNR是当前文件行号# 每个文件单独统计awkFNR 1 { print File:, FILENAME } { print NR, FNR, $0 }file1.txt file2.txt复杂案例计算移动平均假设有一个温度数据文件每行一个温度值计算 3 点移动平均awk{ values[NR] $1 if (NR 3) { sum values[NR] values[NR-1] values[NR-2] print (NR-2), sum/3 } }temperature.txtawk vs sed vs grep很多人分不清这三个工具的边界工具核心能力典型场景grep行过滤快速搜索匹配行sed流编辑替换、删除、插入awk字段处理 计算统计、报表、格式化三者常组合使用# 组合示例提取 error 行替换时间戳格式统计按小时分布grepERRORapp.log|\seds/\[.*\]//|\awk{ count[$1] } END { for (h in count) print h, count[h] }小结awk 的强大在于自动字段分割省去手动 split完整的编程语言变量、数组、函数、循环内置的模式匹配机制掌握 awk处理文本文件就像用 SQL 查询数据库一样高效。复杂的统计、格式化、转换任务一行 awk 命令就能搞定。相关工具Linux sed 命令 | 文本去重工具 | Grep 命令详解