Python日志把磁盘写爆了？一个真实案例教你用logrotate和find命令优雅管理日志文件

Python日志管理实战如何用logrotate和find命令避免磁盘爆满1. 从真实案例看日志管理的痛点那天凌晨三点监控系统突然报警——生产环境的核心服务全部宕机。紧急登录服务器排查发现磁盘空间被日志文件占满Python应用抛出OSError: [Errno 28] No space left on device错误。查看日志目录竟然堆积了超过8万个日志文件每个虽然只有2MB但总量早已超过磁盘容量。这个看似简单的存储问题背后暴露的是日志管理策略的系统性缺失。典型问题场景日志文件数量失控如案例中的86400个上限单文件大小无节制增长缺乏自动轮转和清理机制未考虑inodes限制等系统级因素# 查看磁盘空间和inodes使用情况 df -h # 磁盘空间 df -i # inodes数量提示inodes用尽和磁盘空间耗尽都会导致No space left错误但解决方案完全不同2. 系统级解决方案logrotate深度配置2.1 logrotate核心机制解析logrotate是Linux系统自带的日志管理工具通过cron定期执行提供以下核心功能轮转(rotate)重命名旧日志创建新文件压缩(compress)使用gzip等压缩历史日志清理(prune)按时间或数量删除旧日志触发信号通知应用重新打开日志文件典型配置参数对比参数作用示例值注意事项daily按天轮转daily可与size组合使用size按大小轮转100M优先级高于时间周期rotate保留数量30指未压缩的文件数compress启用压缩compress默认用gzipdelaycompress延迟压缩delaycompress对当前日志不压缩missingok允许文件缺失missingok避免报错中断notifempty空文件不轮转notifempty节省资源sharedscripts共享脚本sharedscripts所有日志处理完才执行postrotate2.2 Python应用专用配置示例在/etc/logrotate.d/下创建专属配置如my_python_app/u01/app/logs/*.log { daily rotate 30 compress delaycompress missingok notifempty copytruncate dateext dateformat -%Y%m%d postrotate # 通知Python应用重新打开日志如使用logging.handlers.WatchedFileHandler pkill -USR1 python3 2/dev/null || true endscript }关键技巧copytruncate复制后清空原文件避免需要应用配合重开日志dateext使用日期作为轮转后缀便于排查USR1信号优雅通知Python重载日志文件# Python端需要配合的代码使用WatchedFileHandler import logging from logging.handlers import WatchedFileHandler handler WatchedFileHandler(/u01/app/logs/app.log) logging.basicConfig(handlers[handler])3. 灵活方案find命令组合拳3.1 基础清理命令剖析当需要更灵活的清理策略时find命令是不二之选# 删除30天前的.log文件按修改时间 find /u01/app/logs -name *.log -mtime 30 -delete # 限制总文件数量保留最新的100个 find /u01/app/logs -name *.log -printf %T %p\n | sort -n | head -n -100 | cut -d -f2- | xargs rm -ffind常用参数精解参数作用典型用例-mtime按修改时间筛选-mtime 77天前-size按文件大小筛选-size 10M大于10MB-exec执行命令-exec rm {} ;-delete直接删除比-exec rm更高效-printf自定义输出格式配合排序使用3.2 高级组合技巧场景1同时控制文件数量和总大小# 保持目录下日志不超过10GB while [ $(du -s /u01/app/logs | cut -f1) -gt $((10*1024*1024)) ]; do oldest$(find /u01/app/logs -name *.log -printf %T %p\n | sort -n | head -1 | cut -d -f2-) rm -f $oldest done场景2按inodes使用率自动清理# 当inodes使用率90%时清理最早日志 inode_usage$(df -i /u01 | awk NR2 {print $5} | tr -d %) [ $inode_usage -gt 90 ] \ find /u01/app/logs -name *.log -printf %T %p\n | sort -n | head -n 50 | cut -d -f2- | xargs rm -f4. 生产环境最佳实践4.1 多维度防御策略分层存储热日志保留7天本地SSD存储温日志保留30天机械硬盘或NAS冷日志保留1年对象存储如S3监控预警# 监控脚本示例 check_space() { local threshold90 local usage$(df -h /u01 | awk NR2 {print $5} | tr -d %) [ $usage -ge $threshold ] \ alert 磁盘空间使用率${usage}%超过阈值${threshold}% local inode_usage$(df -i /u01 | awk NR2 {print $5} | tr -d %) [ $inode_usage -ge $threshold ] \ alert inodes使用率${inode_usage}%超过阈值${threshold}% }日志分级DEBUG/INFO短期保留1-7天WARNING/ERROR长期保留30-90天CRITICAL永久存档4.2 Python日志配置优化建议import logging from logging.handlers import RotatingFileHandler # 按大小轮转推荐配合logrotate使用 handler RotatingFileHandler( app.log, maxBytes50*1024*1024, # 50MB backupCount10 # 保留10个历史文件 ) # 更高级的TimedRotatingFileHandler from logging.handlers import TimedRotatingFileHandler handler TimedRotatingFileHandler( app.log, whenmidnight, # 每天轮转 interval1, backupCount30 )关键决策点方案适用场景优点缺点logrotate系统级管理功能全面与系统集成需要root权限Python内置Handler应用级控制无需外部依赖功能有限find命令特殊清理需求灵活性强需自行实现轮转