Linux上将conda环境VLLM服务注册为开机自启

项目需要vllm进行模型支撑，所以需要做成开机自启保证现场部署，做了些调研，梳理了几种部署方式，例如docker部署、源码部署，脚本的不同自启方式，现在写下几种

一、Systemd服务方式

1、编写启动脚本

编写启动脚本，实现激活 conda 环境后启动 vllm服务。

#!/bin/shell# 检查是否已经安装了 conda
if ! command -v conda &> /dev/null
thenecho "conda not found. Please install Anaconda or Miniconda."exit 1
fi# 激活特定的 Conda 环境
source "$(conda info --base)/bin/activate" vllm# 检查激活的环境
current_env=$(conda info --envs | grep '*')
echo "Current active environment: $current_env"# 运行 app.py 并将输出重定向到日志文件
vllm serve Qwen/Qwen2.5-32B-Instruct  --dtype auto  --gpu-memory-utilization 0.95  --served-model-name Qwen2.5-32B-Instruct   --tensor-parallel-size 2 --host 0.0.0.0  --port 8000 > /home/ai-daosmos/vllm.log 2>&1  &# 将后台进程 disown 以防止 shell 退出时影响到它
disown# 输出成功信息
echo "Vllm has been started successfully."# 等待一段时间以确保应用启动完成
sleep 5# 检查应用是否成功启动
FLASK_PID=$(pgrep -f "flask run --host 0.0.0.0 --port=8000")
if [[ -n "$FLASK_PID" ]]; thenecho "Vllm is running with PID: $FLASK_PID"
elseecho "Failed to start Vllm."exit 1
fi

2、保存脚本并赋予权限

chmod +x /home/ai-daosmos/scripts/start_vllm.sh

3、创建 systemd 服务单元文件

创建服务配置文件/etc/systemd/system/vllm.service，内容如下：

[Unit]
Description=Application (Vllm)
After=network.target[Service]
Type=simple
User=<your_user>
WorkingDirectory=/home/ai-daosmos/
ExecStart=/bin/shell /home/ai-daosmos/scripts/start_vllm.sh
Restart=always
Environment="PATH=/root/anaconda3/envs/vllm/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin"[Install]
WantedBy=multi-user.target

参数说明 ：

• User: 替换为实际运行脚本的用户。
• WorkingDirectory: Flask 应用的工作目录。
• ExecStart: 脚本的完整路径。
• Environment: 设置 Conda 环境的 PATH，确保 命令可用。

3、 启用并测试服务

重新加载 systemd 配置 ：

sudo systemctl daemon-reexec
sudo systemctl daemon-reload

启用开机自启 ：

sudo systemctl enable vllm

手动启动服务 ：

sudo systemctl start vllm

查看服务状态 （检测是否部署成功）：

sudo systemctl status vllm
journalctl -u dify.service -f

后续每次开机时，系统将自动进入您的 conda 环境并启动 vllm 服务。

4、停止systemd服务

后续如果想停止systemd相关服务。

停止服务：使用以下命令停止一个正在运行的服务：

sudo systemctl stop <service_name>

禁用服务‌：为了防止该服务在下次启动时自动运行，可以使用以下命令禁用服务：

sudo systemctl disable <service_name>

查看服务状态‌：如果你想要查看特定服务的状态，可以使用以下命令：

systemctl status <service_name>.service

二、Crontab方式

1、编辑crontab文件

打开当前用户的crontab文件：

crontab -e

2、添加开机启动任务

@reboot /path/to/your/vllm_server >> /home/ai-daosmos/vllm.log 2>&1 

这将在系统启动时执行VLLM服务器，并将输出重定向到/var/log/vllm.log文件中。

推荐使用systemd服务来管理VLLM的开机自启，因为它提供了更好的控制和灵活性。确保你的VLLM安装路径和用户权限设置正确，以避免权限或路径问题导致服务无法启动。

参考链接

https://blog.csdn.net/sunyuhua_keyboard/article/details/143528529
https://blog.csdn.net/su_xiao_wei/article/details/145779428