DASD-4B-Thinking部署教程：Docker镜像内vLLM服务健康检查脚本编写与自动重启

DASD-4B-Thinking部署教程Docker镜像内vLLM服务健康检查脚本编写与自动重启1. 项目背景与需求DASD-4B-Thinking是一个专门针对数学、代码生成和科学推理任务优化的40亿参数语言模型。它通过vLLM框架部署配合chainlit前端提供交互式体验。但在实际使用中vLLM服务可能会因为各种原因出现异常退出影响服务稳定性。本文将手把手教你编写一个实用的健康检查脚本实现vLLM服务的自动监控和重启确保你的DASD-4B-Thinking模型能够7×24小时稳定运行。为什么需要健康检查vLLM服务在长时间运行后可能出现内存泄漏或资源耗尽模型推理过程中可能遇到异常输入导致服务崩溃系统资源波动可能影响服务稳定性手动重启服务既麻烦又容易遗漏2. 环境准备与基础知识在开始编写脚本之前我们先了解一些基础知识。2.1 vLLM服务的基本检查方法vLLM服务通常通过HTTP端口提供API服务我们可以通过简单的curl命令检查服务状态# 检查vLLM服务是否正常运行 curl -X GET http://localhost:8000/health正常运行时应该返回类似这样的响应{status:healthy}2.2 日志文件的位置和查看方法根据提供的部署信息vLLM服务的日志位于/root/workspace/llm.log我们可以通过以下命令实时查看日志tail -f /root/workspace/llm.log3. 健康检查脚本编写现在我们来编写一个完整的健康检查脚本它会定期检查vLLM服务状态并在发现异常时自动重启。3.1 基础版本的健康检查脚本创建一个名为vllm_health_check.sh的文件#!/bin/bash # vLLM健康检查脚本 # 作者基于DASD-4B-Thinking部署需求编写 # 配置参数 VLLM_PORT8000 CHECK_INTERVAL60 # 检查间隔秒 LOG_FILE/root/workspace/llm.log HEALTH_CHECK_URLhttp://localhost:${VLLM_PORT}/health # 日志函数 log() { echo [$(date %Y-%m-%d %H:%M:%S)] $1 /root/workspace/health_check.log } # 检查vLLM服务状态 check_vllm_health() { # 使用curl检查服务健康状态 response$(curl -s -o /dev/null -w %{http_code} -X GET ${HEALTH_CHECK_URL} --connect-timeout 10) if [ $response 200 ]; then # 进一步检查返回内容 content$(curl -s -X GET ${HEALTH_CHECK_URL}) if echo $content | grep -q healthy; then log vLLM服务运行正常 return 0 else log vLLM服务返回异常内容: $content return 1 fi else log vLLM服务健康检查失败HTTP状态码: $response return 1 fi } # 重启vLLM服务 restart_vllm() { log 尝试重启vLLM服务... # 查找并终止现有的vLLM进程 pkill -f vllm sleep 2 # 确保进程已终止 pkill -9 -f vllm 2/dev/null # 这里需要根据你的实际启动命令进行修改 # 示例启动命令请替换为你的实际启动命令 cd /root/workspace nohup python -m vllm.entrypoints.api_server \ --model /path/to/your/model \ --port 8000 \ --tensor-parallel-size 1 \ $LOG_FILE 21 log vLLM服务重启命令已执行 } # 主循环 log vLLM健康检查脚本启动 while true; do if ! check_vllm_health; then log 检测到vLLM服务异常准备重启... restart_vllm # 重启后等待一段时间再检查 sleep 30 fi sleep $CHECK_INTERVAL done3.2 增强版的健康检查脚本基础版本可以工作但我们还可以增加更多功能来提高可靠性#!/bin/bash # 增强版vLLM健康检查脚本 # 配置参数 VLLM_PORT8000 CHECK_INTERVAL60 MAX_RESTART_ATTEMPTS3 RESTART_COOLDOWN300 # 重启冷却时间秒 LOG_FILE/root/workspace/llm.log HEALTH_LOG/root/workspace/health_check.log # 状态变量 restart_attempts0 last_restart_time0 # 日志函数 log() { echo [$(date %Y-%m-%d %H:%M:%S)] $1 $HEALTH_LOG } # 检查系统资源 check_system_resources() { local memory_usage$(free | awk /Mem:/ {printf %.2f, $3/$2 * 100}) local cpu_usage$(top -bn1 | grep Cpu(s) | awk {print $2}) log 系统资源使用 - CPU: ${cpu_usage}%, 内存: ${memory_usage}% # 如果内存使用超过90%记录警告 if (( $(echo $memory_usage 90 | bc -l) )); then log 警告内存使用率过高 ($memory_usage%) fi } # 检查vLLM进程是否存在 check_vllm_process() { if pgrep -f vllm.entrypoints.api_server /dev/null; then return 0 else log vLLM进程不存在 return 1 fi } # 检查服务健康状态 check_vllm_health() { # 首先检查进程是否存在 if ! check_vllm_process; then return 1 fi # 检查HTTP服务 local response$(curl -s -o /dev/null -w %{http_code} -X GET http://localhost:${VLLM_PORT}/health --connect-timeout 10) if [ $response 200 ]; then local content$(curl -s -X GET http://localhost:${VLLM_PORT}/health) if echo $content | grep -q healthy; then log vLLM服务运行正常 restart_attempts0 # 重置重启尝试计数 return 0 else log vLLM服务返回异常内容: $content return 1 fi else log vLLM服务健康检查失败HTTP状态码: $response return 1 fi } # 重启vLLM服务 restart_vllm() { local current_time$(date %s) # 检查冷却时间 if [ $restart_attempts -ge $MAX_RESTART_ATTEMPTS ]; then if [ $((current_time - last_restart_time)) -lt $RESTART_COOLDOWN ]; then log 已达到最大重启尝试次数进入冷却时间 return 1 else restart_attempts0 # 重置计数器 fi fi log 尝试重启vLLM服务 (尝试 $((restart_attempts1))/$MAX_RESTART_ATTEMPTS) # 终止现有进程 pkill -f vllm.entrypoints.api_server sleep 2 pkill -9 -f vllm.entrypoints.api_server 2/dev/null # 根据你的实际部署调整启动命令 # 示例启动命令 - 请替换为你的实际命令 cd /root/workspace nohup python -m vllm.entrypoints.api_server \ --model /path/to/DASD-4B-Thinking \ --port 8000 \ --tensor-parallel-size 1 \ --gpu-memory-utilization 0.8 \ $LOG_FILE 21 last_restart_time$current_time ((restart_attempts)) log vLLM服务重启完成 } # 主函数 main() { log 增强版vLLM健康检查脚本启动 while true; do # 检查系统资源 check_system_resources # 检查vLLM服务状态 if ! check_vllm_health; then log 检测到vLLM服务异常 restart_vllm # 重启后多等待一段时间 sleep 60 else sleep $CHECK_INTERVAL fi done } # 异常处理 trap log 脚本被中断; exit 0 INT TERM trap log 发生错误; exit 1 ERR # 启动主函数 main4. 脚本部署与使用方法4.1 脚本安装和配置创建脚本文件mkdir -p /root/scripts vim /root/scripts/vllm_health_check.sh将上面的增强版脚本内容粘贴进去然后保存退出。修改脚本权限chmod x /root/scripts/vllm_health_check.sh修改启动命令 找到脚本中的重启部分将启动命令替换为你实际使用的vLLM启动命令。你可以在llm.log中找到原始的启动命令。4.2 手动测试脚本首先手动测试脚本是否正常工作# 运行健康检查 /root/scripts/vllm_health_check.sh # 查看健康检查日志 tail -f /root/workspace/health_check.log4.3 配置系统服务推荐为了确保脚本在系统启动时自动运行我们可以创建一个systemd服务创建服务文件vim /etc/systemd/system/vllm-health-check.service添加服务配置[Unit] DescriptionvLLM Health Check Service Afternetwork.target [Service] Typesimple Userroot ExecStart/bin/bash /root/scripts/vllm_health_check.sh Restartalways RestartSec10 [Install] WantedBymulti-user.target启用并启动服务systemctl daemon-reload systemctl enable vllm-health-check.service systemctl start vllm-health-check.service检查服务状态systemctl status vllm-health-check.service journalctl -u vllm-health-check.service -f5. 高级功能与优化建议5.1 添加邮件通知功能当服务多次重启失败时可以添加邮件通知功能# 在脚本中添加邮件通知函数 send_alert() { local subjectvLLM服务异常警报 local bodyDASD-4B-Thinking模型服务在$(date)检测到异常已尝试重启${restart_attempts}次仍未成功。 # 使用mail命令发送邮件需要配置邮件服务 echo $body | mail -s $subject your-emailexample.com # 或者使用curl调用邮件API # curl -X POST -d subject$subjectbody$body https://your-mail-api.com/send } # 在重启函数中调用 if [ $restart_attempts -ge $MAX_RESTART_ATTEMPTS ]; then send_alert fi5.2 日志轮转配置为了避免日志文件过大可以配置logrotate创建logrotate配置vim /etc/logrotate.d/vllm-health-check添加配置内容/root/workspace/health_check.log { daily rotate 7 compress missingok notifempty copytruncate }5.3 性能监控集成你可以将健康检查脚本与Prometheus等监控系统集成# 添加指标输出函数 export_metrics() { local metrics_file/tmp/vllm_metrics.prom cat $metrics_file EOF # HELP vllm_service_healthy vLLM服务健康状态 # TYPE vllm_service_healthy gauge vllm_service_healthy $(check_vllm_health echo 1 || echo 0) # HELP vllm_restart_attempts vLLM服务重启次数 # TYPE vllm_restart_attempts counter vllm_restart_attempts $restart_attempts EOF }6. 常见问题与解决方案6.1 脚本权限问题如果遇到权限错误检查并修复# 检查文件权限 ls -la /root/scripts/vllm_health_check.sh # 修改权限 chmod 755 /root/scripts/vllm_health_check.sh chown root:root /root/scripts/vllm_health_check.sh6.2 服务启动失败排查如果systemd服务启动失败检查日志journalctl -u vllm-health-check.service -e6.3 健康检查误报处理如果健康检查出现误报可以调整检查参数增加--connect-timeout值添加重试机制调整检查频率7. 总结通过本文的教程你已经学会了如何为DASD-4B-Thinking模型的vLLM服务编写一个完整的健康检查脚本。这个脚本能够定期检查vLLM服务状态自动重启异常服务限制重启频率防止过度重启记录详细日志便于排查问题支持系统服务方式运行实践建议首次部署时先手动测试脚本功能根据你的实际环境调整启动命令和参数定期检查健康检查日志优化脚本参数考虑添加监控告警功能及时发现问题现在你的DASD-4B-Thinking模型就有了一个守护卫士能够确保服务持续稳定运行让你可以更专注于模型的应用和优化。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。