【Shell编程 / 9】脚本实战项目:从基础到进阶的自动化管理方案
文章目录
- Shell脚本实战项目
- 自动化部署脚本
- 系统监控脚本
- 文件备份脚本
- 定时任务管理脚本
- 文件传输自动化脚本
- 自动化日志清理脚本
- 用户管理脚本
Shell脚本实战项目
在掌握了 Shell 脚本的基本语法和高级技巧后,实践是进一步提升脚本编写能力的关键。通过参与一些实际的项目,我们可以更加熟练地运用 Shell 脚本来自动化任务,提升工作效率。
自动化部署脚本
自动化部署是运维和开发中常见的任务。通过编写自动化部署脚本,我们可以将繁琐的部署过程简化,确保部署的一致性和效率。
-
自动化部署脚本示例:
假设我们需要部署一个 Web 应用,并且该应用依赖于数据库和其他服务。我们可以通过一个 Shell 脚本来自动化部署过程。#!/bin/bash# 定义变量 APP_DIR="/var/www/myapp" BACKUP_DIR="/var/backups/myapp" DB_NAME="myapp_db" DB_USER="root" DB_PASS="password"# 步骤1: 更新系统 echo "Updating system..." apt-get update -y apt-get upgrade -y# 步骤2: 安装必要的软件包 echo "Installing required packages..." apt-get install -y apache2 mysql-server git# 步骤3: 克隆项目代码 echo "Cloning the project from GitHub..." git clone https://github.com/user/myapp.git $APP_DIR# 步骤4: 设置文件权限 echo "Setting permissions..." chown -R www-data:www-data $APP_DIR# 步骤5: 配置数据库 echo "Setting up the database..." mysql -u $DB_USER -p$DB_PASS -e "CREATE DATABASE IF NOT EXISTS $DB_NAME;"# 步骤6: 启动服务 echo "Starting the application..." systemctl start apache2 systemctl start mysqlecho "Deployment completed!"说明:
- 脚本首先更新系统和安装依赖的软件包。
- 然后,克隆 GitHub 上的项目代码到指定目录。
- 设置文件和目录的权限,确保 Web 服务器能正确访问。
- 最后,配置数据库并启动服务。
扩展功能:
- 可以通过
cron或systemd设置定时自动化部署。 - 使用
git pull来更新项目代码,而不是每次都进行克隆。
系统监控脚本
系统监控脚本用于实时监控系统的健康状态,及时发现并处理问题。通过这些脚本,运维人员可以更高效地管理服务器,避免系统出现故障。
-
系统监控脚本示例:
下面是一个简单的系统监控脚本,用于检查系统资源使用情况,如 CPU、内存、磁盘等,并将结果输出到日志文件中。#!/bin/bash# 定义日志文件 LOGFILE="/var/log/system_monitor.log"# 获取当前日期和时间 DATE=$(date '+%Y-%m-%d %H:%M:%S')# 记录当前日期和时间 echo "Monitoring started at $DATE" >> $LOGFILE# 检查 CPU 使用率 CPU_USAGE=$(top -bn1 | grep "Cpu(s)" | sed "s/.*, *\([0-9.]*\)%* id.*/\1/" | awk '{print 100 - $1}') echo "CPU Usage: $CPU_USAGE%" >> $LOGFILE# 检查内存使用情况 MEM_USAGE=$(free -m | grep Mem | awk '{print $3/$2 * 100.0}') echo "Memory Usage: $MEM_USAGE%" >> $LOGFILE# 检查磁盘空间 DISK_USAGE=$(df -h | grep '^/dev/' | awk '{ print $5 " " $6 }') echo "Disk Usage:" >> $LOGFILE echo "$DISK_USAGE" >> $LOGFILE# 检查当前登录的用户 USERS=$(who) echo "Logged-in Users:" >> $LOGFILE echo "$USERS" >> $LOGFILE# 完成监控 echo "Monitoring completed at $(date '+%Y-%m-%d %H:%M:%S')" >> $LOGFILE说明:
- 脚本首先记录当前的时间戳。
- 然后,使用
top命令获取 CPU 使用率,free命令获取内存使用情况,df命令检查磁盘空间。 - 所有监控信息都会输出到日志文件
/var/log/system_monitor.log中,便于后续查看。
扩展功能:
- 可以通过
cron定期执行此脚本,实时记录系统状态。 - 可以加入告警机制,当某项资源使用率超过阈值时发送邮件或短信通知。
文件备份脚本
在生产环境中,定期备份是确保数据安全和可靠性的关键。通过编写一个自动化备份脚本,可以定期备份重要文件或目录,并进行压缩和远程存储。
示例
#!/bin/bash# 定义备份目录和目标存储路径
SOURCE_DIR="/home/user/important_data"
BACKUP_DIR="/var/backups"
REMOTE_SERVER="user@backup-server:/backups"
DATE=$(date '+%Y-%m-%d-%H%M%S')# 步骤1: 创建备份文件夹(如果不存在)
mkdir -p $BACKUP_DIR# 步骤2: 压缩并备份文件
echo "Starting backup of $SOURCE_DIR to $BACKUP_DIR/backup-$DATE.tar.gz"
tar -czf $BACKUP_DIR/backup-$DATE.tar.gz $SOURCE_DIR# 步骤3: 将备份文件上传至远程服务器
echo "Uploading backup to remote server..."
scp $BACKUP_DIR/backup-$DATE.tar.gz $REMOTE_SERVER# 步骤4: 清理过期的备份文件(保留最近7个备份)
echo "Cleaning up old backups..."
cd $BACKUP_DIR
ls -t | grep "backup-" | awk 'NR>7' | xargs rm -fecho "Backup completed!"
说明:
- 脚本会创建备份文件并进行压缩。
- 然后,它会将备份文件上传到远程服务器。
- 最后,脚本清理掉过期的备份,只保留最近7个备份文件。
扩展功能:
- 可以使用
cron来定期执行备份任务。 - 增加备份通知(通过邮件等方式)告知备份成功或失败。
定时任务管理脚本
在 Linux 系统中,cron 是最常用的定时任务管理工具。通过 Shell 脚本,用户可以简化定时任务的添加、删除和查看操作,避免手动编辑 crontab 文件。
示例
#!/bin/bash# 定义任务和时间参数
TASK_COMMAND="$1"
TASK_TIME="$2"
TASK_NAME="$3"# 检查输入参数
if [[ -z "$TASK_COMMAND" || -z "$TASK_TIME" || -z "$TASK_NAME" ]]; thenecho "Usage: $0 <command> <time> <task_name>"exit 1
fi# 添加定时任务
echo "$TASK_TIME $TASK_COMMAND # Task: $TASK_NAME" >> /etc/crontab# 重新加载 crontab 配置
systemctl restart cronecho "Scheduled task '$TASK_NAME' added successfully!"
说明:
- 脚本允许用户传入定时任务命令、执行时间和任务名称。
- 它会将任务添加到系统的 crontab 文件中,并重启
cron服务,使之生效。
扩展功能:
- 可以加入功能来删除指定任务,或者列出当前所有的定时任务。
- 可以扩展为检查时间格式的有效性,避免输入错误的时间参数。
文件传输自动化脚本
在日常运维中,文件的自动化传输是非常常见的需求。通过 Shell 脚本,可以实现文件从本地到远程服务器,或者从一个服务器到另一个服务器的自动传输。
示例
#!/bin/bash# 定义源文件夹和目标路径
SOURCE_DIR="/home/user/files"
TARGET_SERVER="user@remote-server:/home/user/backup"
DATE=$(date '+%Y-%m-%d-%H%M%S')# 步骤1: 压缩文件
echo "Compressing files in $SOURCE_DIR..."
tar -czf /tmp/files_$DATE.tar.gz -C $SOURCE_DIR .# 步骤2: 传输文件到远程服务器
echo "Transferring files to remote server..."
scp /tmp/files_$DATE.tar.gz $TARGET_SERVER# 步骤3: 清理临时文件
rm -f /tmp/files_$DATE.tar.gzecho "File transfer completed!"
说明:
- 脚本将指定目录的文件进行压缩。
- 然后将压缩文件通过
scp命令传输到远程服务器。 - 最后,清理掉临时文件。
扩展功能:
- 可以加上同步检查,避免重复传输。
- 在传输过程中,增加重试机制,确保文件传输成功。
自动化日志清理脚本
为了保证系统的稳定性,定期清理日志文件是非常重要的。过多的日志文件会占用磁盘空间,影响系统性能。通过 Shell 脚本,可以定期清理指定的日志文件。
示例
#!/bin/bash# 定义日志目录和保留的天数
LOG_DIR="/var/log"
RETENTION_DAYS=30# 步骤1: 查找并删除超过 $RETENTION_DAYS 天的日志文件
echo "Cleaning up logs older than $RETENTION_DAYS days..."
find $LOG_DIR -type f -name "*.log" -mtime +$RETENTION_DAYS -exec rm -f {} \;echo "Log cleanup completed!"
说明:
- 脚本会查找指定目录下所有
.log文件,并删除超过指定天数的日志文件。 - 我们可以根据需要调整
RETENTION_DAYS的值,控制日志保留的时间。
扩展功能:
- 可以增加日志备份功能,在删除日志之前先备份到指定目录。
- 可以通过邮件通知系统管理员清理的结果。
用户管理脚本
在多人使用的系统中,管理用户账户是运维人员的常见任务。通过 Shell 脚本,可以简化添加、删除、修改用户的过程。
示例
#!/bin/bash# 获取操作类型(添加、删除、修改)
ACTION=$1
USER_NAME=$2
USER_PASSWORD=$3# 判断是否传入必要的参数
if [[ -z "$ACTION" || -z "$USER_NAME" ]]; thenecho "Usage: $0 <add|del|modify> <username> [password]"exit 1
fi# 根据不同的操作执行
case $ACTION inadd)# 添加用户if id "$USER_NAME" &>/dev/null; thenecho "User $USER_NAME already exists!"elseuseradd "$USER_NAME"if [[ -n "$USER_PASSWORD" ]]; thenecho "$USER_NAME:$USER_PASSWORD" | chpasswdfiecho "User $USER_NAME added successfully!"fi;;del)# 删除用户userdel -r "$USER_NAME"echo "User $USER_NAME deleted successfully!";;modify)# 修改用户密码if [[ -n "$USER_PASSWORD" ]]; thenecho "$USER_NAME:$USER_PASSWORD" | chpasswdecho "Password for $USER_NAME modified successfully!"elseecho "Please provide a new password!"exit 1fi;;*)echo "Invalid action! Use add, del or modify."exit 1;;
esac
说明:
- 该脚本可以用于添加、删除和修改用户账户。
- 可以通过输入参数来指定操作类型(添加、删除、修改),以及要操作的用户名和密码。
扩展功能:
- 可以加入更多用户信息的设置,比如分配用户组等。
- 通过邮件通知操作结果,或记录操作日志。
相关文章:
【Shell编程 / 9】脚本实战项目:从基础到进阶的自动化管理方案
文章目录 Shell脚本实战项目自动化部署脚本系统监控脚本文件备份脚本定时任务管理脚本文件传输自动化脚本自动化日志清理脚本用户管理脚本 Shell脚本实战项目 在掌握了 Shell 脚本的基本语法和高级技巧后,实践是进一步提升脚本编写能力的关键。通过参与一些实际的项…...
在PyTorch中使用插值法来优化卷积神经网络(CNN)所需硬件资源
插值法其实就是在已知数据点之间估计未知点的值。通过已知的离散数据点,构造一个连续的曲线函数,预测数据点之间的空缺值是什么并且自动填补上去。 适用场景: 在卷积神经网络(CNN)中的应用场景中,经常遇到计算资源有限,比如显存不够或者处理速度慢,需要用插值来降低计…...
黄金市场现状与驱动因素分析
一、当前市场现状:挤兑、运力与供应链危机 全球金库告急与运输瓶颈 伦敦商业银行金库的黄金存量告急,纽约和伦敦市场出现“史诗级挤兑”。提取英格兰银行金库的黄金需等待4-8周,远高于常规的几天时间[citation:用户描述]。专业运输车辆超负荷…...
Linux arm64 IOMMU总结
一、DMA的引入 Non-DMA:CPU直接与设备进行数据交互,CPU的负载会随着数据的读写而增加; DMA:CPU不参与数据的直接传输,DMA Controller负责Device与Memory之间的数据搬运,并以中断信号的形式通知CPU…...
服务器通过 ollama 运行deepseek r1
1、服务器环境简介 56核 CPU64G 内存无显卡已安装 Ollama 2、下载模型与配置 正常可以通过 ollama pull 或 ollama run 命令直接下载,但通常会遇到连接超时、找不到网址等总理。因此,可以使用国内的模型站进行下载,在这里使用魔塔查找模型…...
MYSQL学习笔记(九):MYSQL表的“增删改查”
前言: 学习和使用数据库可以说是程序员必须具备能力,这里将更新关于MYSQL的使用讲解,大概应该会更新30篇,涵盖入门、进阶、高级(一些原理分析);这一篇讲述一些在MYSQL的数据类型,和表的“增删改查”基本操作;虽然MYSQ…...
Oracle JDK、Open JDK zulu下载地址
一、Oracle JDK https://www.oracle.com/java/technologies/downloads/ 刚进去是最新的版本,往下滑可以看到老版本 二、Open JDK的 Azul Zulu https://www.azul.com/downloads/ 直接可以选版本等选项卡...
分类解析决策模型
一、按理性程度划分的决策模型 1. 完全理性模型(古典决策理论) 核心假设:决策者拥有完全信息,能计算所有选项的效用并选择最优解。数学模型: 期望效用理论(Expected Utility Theory, EU): E U = ∑ ( p i...
【SPIE出版,见刊快速,EI检索稳定,浙江水利水电学院主办】2025年物理学与量子计算国际学术会议(ICPQC 2025)
2025年物理学与量子计算国际学术会议(ICPQC 2025)将于2025年4月18-20日在中国杭州举行。本次会议旨在汇聚全球的研究人员、学者和业界专家,共同探讨物理学与量子计算领域的最新进展与前沿挑战。随着量子技术的快速发展,其在信息处…...
【网络】高级IO——Reactor版TCP服务器
1.什么是Reactor Reactor 是一种应用在服务器端的开发模式(也有说法称 Reactor 是一种 IO 模式),目的是提高服务端程序的并发能力 它要解决什么问题呢? 传统的 thread per connection 用法中,线程在真正处理请求之前首…...
3.Docker常用命令
1.Docker启动类命令 1.启动Docker systemctl start docker 2.停止Docker systemctl stop docker 3.重启Docker systemctl restart docker 4.查看Docker状态 systemctl status docker 5.设置开机自启(执行此命令后每次Linux重启后将自启动Docker) systemctl enable do…...
【uni-app】对齐胶囊容器组件
代码碎片 <template><div><view :style"{ height: ${statusBarHeight}px }"></view><viewclass"":style"{height: ${menuButtonHeight menuButtonPadding * 2}px,width: ${menuButtonInfo.left}px,}"><slot …...
JUC并发—10.锁优化与锁故障
大纲 1.标志位修改场景优先使用volatile(服务优雅停机) 2.数值递增场景优先使用Atomic类(心跳计数器) 3.共享变量仅对当前线程可见的场景优先使用ThreadLocal(edits log的处理) 4.读多写少需要加锁的场景优先使用读写锁(服务注册表的并发读写) 5.尽量减少线程对锁占用时间…...
Java 大视界 -- 区块链赋能 Java 大数据:数据可信与价值流转(84)
💖亲爱的朋友们,热烈欢迎来到 青云交的博客!能与诸位在此相逢,我倍感荣幸。在这飞速更迭的时代,我们都渴望一方心灵净土,而 我的博客 正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识,也…...
大数据学习之PB级音乐数据中心数仓综合项目(1)-理论知识和项目需求、歌曲热度与歌手热度排行
一、理论知识和项目需求 1.课程介绍 2.数据库与ER建模_数据库三范式 3.数据库与ER建模_ER实体关系模型 4.数据库与维度建模_数据仓库(DATA WAREHOUSE) 5.数据库与维度建模_数据库与数据仓库区别 6.数据库与维度建模_数据仓库的发展历程 7.数据库与维度建模_维度建模 8.数据库与…...
DeepSeek vs ChatGPT:AI 领域的华山论剑,谁主沉浮?
一、引言 在当今科技飞速发展的时代,人工智能(AI)已然成为推动各领域变革的核心力量。而在人工智能的众多分支中,自然语言处理(NLP)因其与人类日常交流和信息处理的紧密联系,成为了最受瞩目的领…...
七星棋牌顶级运营产品全开源修复版源码教程:6端支持,200+子游戏玩法,完整搭建指南(含代码解析)
棋牌游戏一直是移动端游戏市场中极具竞争力和受欢迎的品类,而七星棋牌源码修复版无疑是当前行业内不可多得的高质量棋牌项目之一。该项目支持 6大省区版本(湖南、湖北、山西、江苏、贵州),拥有 200多种子游戏玩法,同时…...
本2硕9电子科学专业,想走linux或是嵌入式,要具体学哪些技术
今天给大家分享的是一位粉丝的提问,本2硕9电子科学专业,想走linux或是嵌入式,要具体学哪些技术 接下来把粉丝的具体提问和我的回复分享给大家,希望也能给一些类似情况的小伙伴一些启发和帮助。 同学提问: 你好&…...
从混沌到有序:一个数据血缘分析的进化故事
从混沌到有序:一个数据血缘分析的进化故事 从混沌到有序的数据治理之路数据血缘的建设方法和实践路径数据血缘的实践场景和未来趋势。 数据就像流淌在企业血管中的血液,它的每一次流动、每一次转化都留下独特的印记。 作为数据工程师,我曾困惑…...
从猜想终结到算法革新,弹性哈希开启数据存储新篇章
目录 哈希表的前世今生基本原理从传统到现代:哈希表的演变历程 安德鲁 克拉皮文及其团队的创作历程弹性哈希详解基本原理优点技术细节 漏斗哈希解析基本原理优点技术细节 新算法的实际应用案例电子商务推荐系统金融交易监控系统社交媒体内容过滤物联网设备管理 结论…...
MPNet:旋转机械轻量化故障诊断模型详解python代码复现
目录 一、问题背景与挑战 二、MPNet核心架构 2.1 多分支特征融合模块(MBFM) 2.2 残差注意力金字塔模块(RAPM) 2.2.1 空间金字塔注意力(SPA) 2.2.2 金字塔残差块(PRBlock) 2.3 分类器设计 三、关键技术突破 3.1 多尺度特征融合 3.2 轻量化设计策略 3.3 抗噪声…...
Opencv中的addweighted函数
一.addweighted函数作用 addweighted()是OpenCV库中用于图像处理的函数,主要功能是将两个输入图像(尺寸和类型相同)按照指定的权重进行加权叠加(图像融合),并添加一个标量值&#x…...
页面渲染流程与性能优化
页面渲染流程与性能优化详解(完整版) 一、现代浏览器渲染流程(详细说明) 1. 构建DOM树 浏览器接收到HTML文档后,会逐步解析并构建DOM(Document Object Model)树。具体过程如下: (…...
ardupilot 开发环境eclipse 中import 缺少C++
目录 文章目录 目录摘要1.修复过程摘要 本节主要解决ardupilot 开发环境eclipse 中import 缺少C++,无法导入ardupilot代码,会引起查看不方便的问题。如下图所示 1.修复过程 0.安装ubuntu 软件中自带的eclipse 1.打开eclipse—Help—install new software 2.在 Work with中…...
Rapidio门铃消息FIFO溢出机制
关于RapidIO门铃消息FIFO的溢出机制及其与中断抖动的关系,以下是深入解析: 门铃FIFO溢出的本质 在RapidIO系统中,门铃消息FIFO是硬件控制器内部的缓冲区,用于临时存储接收到的门铃消息(Doorbell Message)。…...
LeetCode - 199. 二叉树的右视图
题目 199. 二叉树的右视图 - 力扣(LeetCode) 思路 右视图是指从树的右侧看,对于每一层,只能看到该层最右边的节点。实现思路是: 使用深度优先搜索(DFS)按照"根-右-左"的顺序遍历树记录每个节点的深度对于…...
C#中的CLR属性、依赖属性与附加属性
CLR属性的主要特征 封装性: 隐藏字段的实现细节 提供对字段的受控访问 访问控制: 可单独设置get/set访问器的可见性 可创建只读或只写属性 计算属性: 可以在getter中执行计算逻辑 不需要直接对应一个字段 验证逻辑: 可以…...
Web中间件--tomcat学习
Web中间件–tomcat Java虚拟机详解 什么是JAVA虚拟机 Java虚拟机是一个抽象的计算机,它可以执行Java字节码。Java虚拟机是Java平台的一部分,Java平台由Java语言、Java API和Java虚拟机组成。Java虚拟机的主要作用是将Java字节码转换为机器代码&#x…...
Golang——6、指针和结构体
指针和结构体 1、指针1.1、指针地址和指针类型1.2、指针取值1.3、new和make 2、结构体2.1、type关键字的使用2.2、结构体的定义和初始化2.3、结构体方法和接收者2.4、给任意类型添加方法2.5、结构体的匿名字段2.6、嵌套结构体2.7、嵌套匿名结构体2.8、结构体的继承 3、结构体与…...
Chromium 136 编译指南 Windows篇:depot_tools 配置与源码获取(二)
引言 工欲善其事,必先利其器。在完成了 Visual Studio 2022 和 Windows SDK 的安装后,我们即将接触到 Chromium 开发生态中最核心的工具——depot_tools。这个由 Google 精心打造的工具集,就像是连接开发者与 Chromium 庞大代码库的智能桥梁…...
