Shell脚本实战指南：从零基础到自动化高手

1. Shell脚本入门从Hello World到实战第一次接触Shell脚本时我和大多数人一样被那些神秘的符号和命令搞得一头雾水。直到我意识到Shell脚本其实就是把平时在终端里手动输入的命令写进一个文件里自动执行。举个例子每天早上我都要手动检查服务器磁盘空间、备份日志文件、发送报告邮件这些重复性工作完全可以用几行脚本搞定。让我们从最经典的Hello World开始。创建一个名为hello.sh的文件#!/bin/bash echo Hello World保存后给文件添加执行权限chmod x hello.sh执行脚本有两种方式直接运行./hello.sh需要执行权限通过解释器运行bash hello.sh不需要执行权限我刚开始时经常忘记第一行的#!/bin/bash称为shebang结果脚本用默认的sh解释器运行导致一些bash特有的语法报错。这个细节让我调试了半天所以特别提醒新手注意。2. Shell变量让你的脚本活起来变量是Shell脚本的灵魂。有一次我需要批量重命名几百个日志文件手动操作太痛苦用变量配合循环几分钟就搞定了。系统变量可以直接使用$HOME用户家目录$PWD当前工作目录$USER当前用户名自定义变量的规则等号两边不能有空格nameJohn正确name John错误变量名区分大小写$var和$VAR是两个变量默认都是字符串类型count12会保存为字符串12一个实用技巧用readonly声明常量防止误修改readonly MAX_RETRY3环境变量可以让子进程访问export DB_HOST127.0.0.1我曾在脚本中用了大量未导出的变量导致调用的子脚本获取不到值排查了很久才发现这个问题。3. 流程控制让脚本学会做决策3.1 if条件判断处理服务器监控时我经常用if判断各种状态if [ $CPU_USE -gt 90 ]; then echo CPU使用率过高 | mail -s 警报 adminexample.com elif [ $MEM_USE -gt 80 ]; then echo 内存不足 else echo 系统正常 fi注意点条件表达式[ ]两边必须有空格比较数字用-eq、-gt等字符串用可以用和||组合多个条件3.2 case语句当有多个固定选项时case比if更清晰case $1 in start) ./start_server.sh ;; stop) ./stop_server.sh ;; *) echo 用法: $0 start|stop exit 1 ;; esac3.3 循环处理for循环处理文件批量操作特别方便# 重命名所有.log文件 for file in *.log; do mv $file ${file%.log}.bak donewhile循环适合处理不确定次数的操作比如读取文件行while IFS read -r line; do echo 处理: $line done data.txt我曾经用while循环实现了一个简单的守护进程定期检查服务状态并在异常时自动重启。4. 实用Shell工具数据处理三剑客4.1 cut精准切割文本分析nginx日志时我常用cut提取特定字段# 提取访问量前10的IP cut -d -f 1 access.log | sort | uniq -c | sort -nr | head -10参数说明-d指定分隔符默认制表符-f选择第几列支持1,3,5这种格式4.2 sed流式文本编辑批量替换配置文件中的IP地址sed -i s/192.168.1.100/10.0.0.1/g *.conf常用操作s/old/new/g全局替换/pattern/d删除匹配行3a\text在第3行后插入文本4.3 awk强大的文本分析统计日志中不同状态码的出现次数awk {status[$9]} END {for(s in status) print s, status[s]} access.logawk的优势在于自动按列处理默认空格分隔支持数组和计算内置变量如NR行号、NF字段数5. 实战案例自动化部署脚本下面分享一个我实际在用的Web应用部署脚本#!/bin/bash # 配置变量 readonly APP_NAMEmyapp readonly BACKUP_DIR/backup readonly DEPLOY_DIR/var/www/$APP_NAME # 检查参数 if [ $# -ne 1 ]; then echo 用法: $0 版本号 exit 1 fi VERSION$1 TAR_FILE$APP_NAME-$VERSION.tar.gz # 检查文件是否存在 if [ ! -f $TAR_FILE ]; then echo 错误: 文件 $TAR_FILE 不存在 exit 1 fi # 创建备份 echo 创建备份... tar -czf $BACKUP_DIR/$APP_NAME-$(date %Y%m%d).tar.gz $DEPLOY_DIR 2/dev/null # 停止服务 systemctl stop $APP_NAME # 解压新版本 echo 部署新版本... rm -rf $DEPLOY_DIR/* tar -xzf $TAR_FILE -C $DEPLOY_DIR # 设置权限 chown -R www-data:www-data $DEPLOY_DIR find $DEPLOY_DIR -type d -exec chmod 755 {} \; find $DEPLOY_DIR -type f -exec chmod 644 {} \; # 启动服务 systemctl start $APP_NAME echo 部署完成这个脚本实现了参数检查自动备份服务启停权限设置状态反馈6. 调试技巧与最佳实践6.1 调试方法我常用的调试手段set -x显示执行的每行命令set -e遇到错误立即退出echo $?检查上条命令的返回值#!/bin/bash set -ex # 你的脚本内容6.2 代码规范好的Shell脚本应该添加清晰的注释使用有意义的变量名处理各种错误情况添加日志记录限制脚本权限6.3 性能优化处理大文件时避免频繁的文件IO使用管道连接多个命令考虑使用更高效的工具如awk替代grepcut7. 进阶技巧函数与模块化当脚本超过100行时就该考虑用函数了#!/bin/bash # 日志函数 log() { echo [$(date %Y-%m-%d %H:%M:%S)] $1 } # 检查依赖 check_deps() { for cmd in jq aws curl; do if ! command -v $cmd /dev/null; then log 错误: $cmd 未安装 exit 1 fi done } # 主函数 main() { check_deps log 开始执行... # 业务逻辑 } main $这样组织代码更易维护也方便复用。我曾经把一个300行的监控脚本拆分成多个函数文件通过source引入使主脚本变得非常简洁。8. 安全注意事项写Shell脚本要特别注意安全永远验证用户输入使用$var引用变量防止空格和特殊字符设置合理的文件权限敏感信息不要硬编码在脚本中使用rm -rf时要格外小心一个真实教训我曾写过一个清理临时文件的脚本因为变量未加引号当路径包含空格时误删了重要文件。现在我会这样写# 安全做法 find /tmp/my app -name *.tmp -delete # 危险做法 rm -rf /tmp/my app/* # 如果$DIR包含空格会出问题