Linux 文本处理三剑客（日志 / 配置分析）

前言在 Linux 服务器工作中90% 的问题都要靠看日志、改配置解决。面对动辄几万行的日志文件手动翻阅效率极低而 grep、sed、awk 这三个工具就是 Linux 下处理文本的 “终极三剑客”。掌握它们你就能实现快速过滤、批量替换、数据统计真正做到高效定位问题。一、为什么要学三剑客在服务器场景中你经常会遇到这些需求从 10 万行日志里找出所有报错行批量修改配置文件里的 IP、端口统计访问日志里出现最多的 IP截取日志中的某一列、某一段内容过滤掉无用信息只保留关键数据如果靠手动打开文件不仅慢还容易出错。而三剑客可以在命令行直接完成无需打开编辑器支持管道、脚本自动化是运维必备核心技能。三剑客定位简单总结grep过滤行—— 抓出包含关键词的行sed流编辑—— 按行替换、删除、插入awk切片统计—— 按列截取、计算、统计二、grep最实用的文本行过滤工具grep 用于在文件或输出中查找包含指定字符串的行是日常排查错误用得最多的命令。基本语法bash运行grep [选项] “关键词” 文件名最常用选项-i忽略大小写-n显示行号-v反向匹配排除-w全词匹配-r递归搜索目录下所有文件-E支持扩展正则等价于 egrep-c只输出匹配行数高频实战示例bash运行查找包含 error 的行并显示行号grep -n “error” app.log忽略大小写查找grep -i “fail” app.log排除注释行和空行查看配置常用grep -v “^#” nginx.conf | grep -v “^$”递归在 /var/log 下找包含 timeout 的文件grep -r “timeout” /var/log/统计错误行数grep -c “ERROR” app.log4. 结合管道使用极常用bash运行ps aux | grep nginxdmesg | grep -i usbcat access.log | grep “404”一句话总结 grep想快速找到某类行用 grep。三、sed流式文本编辑神器sed 是非交互式编辑器不需要打开文件就能直接修改内容适合批量替换、删除行、插入行尤其适合写自动化脚本。基本语法bash运行sed [选项] ‘指令’ 文件名常用选项-n只打印匹配的行-i直接修改文件内容重要-e多指令编辑最常用操作查找替换格式plaintextsed ‘s/旧内容/新内容/修饰符’ 文件名s 替换g 全局替换默认只替换每行第一个示例bash运行替换端口 80 为 8080只显示不改文件sed ‘s/80/8080/g’ nginx.conf直接修改文件危险建议先备份sed -i ‘s/127.0.0.1/0.0.0.0/g’ config.ini替换带 / 的路径用 # 做分隔符避免冲突sed -i ‘s#/tmp#/data/tmp#g’ app.log4. 按行操作bash运行打印第 10 行sed -n ‘10p’ app.log删除第 5 行sed -i ‘5d’ file.txt删除空行sed -i ‘/^$/d’ file.txt在第 2 行后插入内容sed -i ‘2a add new line’ file.txt一句话总结 sed批量替换、删行、插行用 sed。四、awk按列切割与数据统计大师awk 是三剑客中最强大的它把每行按列字段 切割支持变量、判断、循环适合日志统计、IP 统计、流量计算等。基本语法bash运行awk ‘条件 {动作}’ 文件名默认分隔符空格、制表符内置变量$0整行内容$1第一列$2第二列NF总列数NR行号FS字段分隔符高频实战示例bash运行打印第 1、3 列awk ‘{print $1, $3}’ access.log过滤第 9 列是 404 的行awk ‘$9 404 {print}’ access.log统计访问最多的 IP经典awk ‘{print $1}’ access.log | sort | uniq -c | sort -nr统计总流量大小求和awk ‘{sum $10} END {print sum}’ access.log指定分隔符为 :awk -F ‘:’ ‘{print $1, $3}’ /etc/passwd4. 简单判断bash运行awk ‘$3 100 {print $1}’ file.txt一句话总结 awk要按列处理、统计、求和、去重用 awk。五、正则表达式基础三剑客通用三剑客威力巨大很大一部分来自正则。入门掌握几个就够用^ 行开头$ 行结尾. 任意单个字符前面字符出现任意次[0-9] 数字[a-z] 小写字母示例bash运行找 IPgrep -E “[0-9].[0-9].[0-9].[0-9]” app.log找空行grep “^$” app.log找注释行grep “^#” nginx.conf六、三剑客综合实战场景场景 1快速排查服务报错bash运行tail -n 100 /var/log/nginx/error.log | grep -i “error”场景 2批量修改配置文件bash运行sed -i ‘s/server_name localhost/server_name example.com/g’ nginx.conf场景 3统计访问量最高的接口bash运行awk ‘{print $7}’ access.log | sort | uniq -c | sort -nr | head -10场景 4清理无用日志行bash运行sed -i ‘/debug/d’ app.log场景 5查看系统用户列表bash运行awk -F ‘:’ ‘{print $1}’ /etc/passwd | head -10七、学习三剑客的正确方法不要一开始就啃复杂正则先练会常用固定用法能解决问题就行。先预览再修改使用 sed 时先不加 -i 看效果确认无误再替换。多用管道组合grep awk sort 是排查日志的黄金组合。把常用命令写成笔记遇到典型日志直接保存成自己的模板。八、常见误区提醒grep 不是越复杂越好简单关键词能解决就不用正则。sed -i 会直接覆盖文件重要文件先备份新手尤其注意。awk 从 $1 开始不是 $0很多初学者第一列写成 $0 导致出错。日志太大不要直接 cat用 tail、less、head 分段查看。九、总结Linux 文本处理三剑客是服务器效率的分水岭grep 负责 “找行”快速定位关键词sed 负责 “改文本”批量替换删行awk 负责 “切列统计”分析数据与日志它们可以单独使用也可以通过管道 | 组合成强大的一行命令实现自动化排查、日志分析、配置修改。掌握这三个工具你在 Linux 下处理文本的效率会提升 10 倍以上真正具备服务器运维的基础能力。下一篇我们进入 Shell 脚本编程入门学习把这些命令写成自动化脚本实现一键部署、备份、巡检。