低成本部署实践：通义千问1.5-1.8B-Chat-GPTQ-Int4在Ubuntu 20.04上的完整教程

低成本部署实践通义千问1.5-1.8B-Chat-GPTQ-Int4在Ubuntu 20.04上的完整教程最近有不少朋友在问有没有那种对硬件要求不高但又能跑起来体验一下大模型对话的轻量级方案毕竟不是人人都有高端显卡。正好我最近在星图GPU平台上折腾了一下通义千问的一个小尺寸量化版本——1.5-1.8B-Chat-GPTQ-Int4感觉特别适合想低成本尝鲜的朋友。它只需要很少的显存在Ubuntu 20.04系统上部署起来也相当顺畅。今天这篇教程我就来手把手带你走一遍完整的部署流程。从准备环境、拉取镜像到启动服务、测试接口我会把每一步都讲清楚特别是那些容易踩坑的地方比如依赖问题、端口冲突、权限设置等等。目标很简单让你跟着做一遍就能在自己的Ubuntu 20.04服务器上成功跑起一个属于你自己的对话模型服务。1. 部署前准备理清思路与环境检查在开始敲命令之前我们先花几分钟把整个部署的脉络理清楚。这次部署的核心是利用星图GPU平台提供的预置镜像。这个镜像已经帮我们把模型文件、运行环境、甚至基础的Web服务都打包好了这能省去大量手动安装和配置的麻烦。我们的目标是在一台运行Ubuntu 20.04的服务器上把这个镜像跑起来并对外提供一个可以调用的API接口。整个过程可以概括为三个主要阶段首先是确保你的服务器环境满足基本要求然后是通过平台拉取并启动这个打包好的镜像最后是验证服务是否正常并学会如何调用它。1.1 确认你的服务器环境工欲善其事必先利其器。我们先来检查一下你的Ubuntu 20.04服务器是否准备好了。操作系统确认你的系统是Ubuntu 20.04 LTS。你可以在终端里输入lsb_release -a来查看。如果不是后续的某些步骤可能需要调整。Docker环境我们的部署完全基于Docker所以这是必须的。运行docker --version看看是否已经安装。如果没有别担心安装很简单。NVIDIA驱动与CUDA既然要用GPU跑模型正确的驱动和CUDA工具包必不可少。运行nvidia-smi命令。如果这个命令能正常执行并显示出你的GPU信息比如一张Tesla T4或V100并且CUDA版本在11.0以上那这部分就基本没问题了。nvidia-smi命令的输出里会包含CUDA版本信息。网络与存储确保服务器能正常访问外网用于拉取镜像并且有足够的磁盘空间。这个量化后的模型本身不大但加上镜像和运行环境预留10GB以上的空间会比较稳妥。权限问题建议你使用具有sudo权限的用户来执行后续所有操作避免因为权限不足导致部署失败。如果检查下来Docker还没安装或者nvidia-smi命令报错不用着急我们接下来就会解决。1.2 安装缺失的依赖Docker与NVIDIA Container Toolkit假设你的Ubuntu 20.04是干净的我们一步步来补全环境。第一步安装Docker。在终端中依次执行以下命令# 更新软件包索引 sudo apt-get update # 安装必要的依赖包让apt可以通过HTTPS使用仓库 sudo apt-get install -y \ apt-transport-https \ ca-certificates \ curl \ software-properties-common # 添加Docker的官方GPG密钥 curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add - # 设置稳定版仓库 sudo add-apt-repository \ deb [archamd64] https://download.docker.com/linux/ubuntu \ $(lsb_release -cs) \ stable # 再次更新并安装Docker CE社区版 sudo apt-get update sudo apt-get install -y docker-ce docker-ce-cli containerd.io # 将当前用户加入docker组这样以后就不用每次都加sudo了操作后需要退出终端重新登录生效 sudo usermod -aG docker $USER echo 请注销并重新登录以使docker组权限生效。第二步安装NVIDIA Container Toolkit。这能让Docker容器使用宿主机的GPU。继续在终端执行# 添加NVIDIA容器工具包的仓库 distribution$(. /etc/os-release;echo $ID$VERSION_ID) curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list # 安装工具包 sudo apt-get update sudo apt-get install -y nvidia-docker2 # 重启Docker服务使配置生效 sudo systemctl restart docker安装完成后运行一个测试命令来验证GPU在Docker中是否可用sudo docker run --rm --gpus all nvidia/cuda:11.0-base nvidia-smi如果这个命令能像直接在宿主机上运行nvidia-smi一样打印出GPU信息那么恭喜你最复杂的环境配置已经完成了。2. 获取与启动模型镜像环境准备好了现在主角登场。我们不需要自己去下载几个G的模型文件也不需要配置复杂的Python环境因为星图平台已经把这些都做进一个“一键镜像”里了。2.1 从星图镜像广场获取镜像你可以将星图的镜像广场理解为一个“模型应用商店”。我们需要找到名为qwen1.5-1.8b-chat-gptq-int4的镜像。通常平台会提供完整的镜像地址格式类似于registry.cn-hangzhou.aliyuncs.com/xxx/qwen1.5-1.8b-chat-gptq-int4:latest。假设你获取到的镜像地址是your-mirror-registry/qwen1.5-1.8b-chat-gptq-int4:latest。在终端中使用docker pull命令拉取它sudo docker pull your-mirror-registry/qwen1.5-1.8b-chat-gptq-int4:latest这个过程会下载镜像时间取决于你的网络速度。镜像大小通常在几GB左右。小提示如果你在拉取时遇到权限错误可能需要先执行docker login登录到对应的镜像仓库。具体的登录命令和密码通常可以在星图镜像的详情页找到。2.2 运行模型服务容器镜像拉取到本地后我们就可以用它来创建一个正在运行的容器也就是服务实例了。这里有几个关键参数需要你留意--gpus all 将宿主机的所有GPU分配给容器这是模型计算所必需的。-p 8000:8000 端口映射。容器内部的服务默认在8000端口监听我们把它映射到宿主机的8000端口。这样你通过访问服务器的http://你的服务器IP:8000就能连接到模型服务了。如果宿主机8000端口已被占用你可以改成-p 8080:8000等其他端口。--name qwen-chat 给容器起个名字方便后续管理启动、停止、查看日志。-v /path/to/your/data:/app/data 可选数据卷挂载。如果你想持久化保存对话历史或配置文件可以把宿主机的某个目录如/home/user/qwen_data挂载到容器内的/app/data目录。首次运行可以先忽略。现在运行启动命令sudo docker run -d \ --gpus all \ -p 8000:8000 \ --name qwen-chat \ your-mirror-registry/qwen1.5-1.8b-chat-gptq-int4:latest参数解释-d代表后台运行。--restart unless-stopped可以让容器在服务器重启后自动启动适合长期运行的服务。命令执行后容器就在后台启动了。你可以用sudo docker ps查看容器状态看到qwen-chat容器状态为Up就表示运行成功。2.3 常见启动问题排查如果docker ps看不到容器或者状态是Exited可以查看日志找原因sudo docker logs qwen-chat常见问题端口冲突日志可能提示Address already in use。解决方法是修改启动命令中的端口映射比如将-p 8000:8000改为-p 8001:8000。GPU驱动问题日志出现CUDA相关错误。请再次用sudo docker run --rm --gpus all nvidia/cuda:11.0-base nvidia-smi验证Docker GPU环境。确保NVIDIA驱动版本足够新。权限不足确保运行docker命令的用户在docker用户组中我们之前usermod那一步。镜像问题极少数情况镜像本身可能有问题。可以尝试重新拉取镜像docker pull ...并删除旧容器docker rm qwen-chat后重新运行。3. 验证与使用你的模型服务服务跑起来之后我们得确认它是不是真的在正常工作并且学会怎么跟它“说话”。3.1 基础健康检查首先我们可以用最简单的命令检查服务是否存活。在服务器本地执行curl http://localhost:8000/health或者curl http://localhost:8000如果返回类似{status:ok}或一个简单的欢迎页面说明Web服务本身是正常的。3.2 调用对话接口这个镜像通常会提供一个标准的HTTP API接口来处理对话请求。最常见的端点Endpoint是/v1/chat/completions它遵循类似OpenAI的格式。你可以使用curl命令进行测试。下面是一个最简单的例子我们问模型一个问题curl -X POST http://localhost:8000/v1/chat/completions \ -H Content-Type: application/json \ -d { model: qwen1.5-1.8b-chat, messages: [ {role: user, content: 请用一句话介绍一下你自己。} ], max_tokens: 100, stream: false }参数简单说明model: 指定模型名称这里填镜像对应的模型名。messages: 对话历史列表。每个消息对象包含roleuser用户或assistant助手和content内容。第一次调用通常只需一个用户消息。max_tokens: 限制模型回复的最大长度。stream: 是否使用流式输出逐字返回。设为false是等完整回复。如果一切正常你会收到一个JSON格式的响应在choices[0].message.content字段里就是模型的回复内容了。3.3 使用Python客户端进行交互在命令行里用curl测试没问题但实际开发中我们更常用编程语言来调用。这里给一个Python的例子你需要先安装openai库注意我们只是用它兼容的客户端格式实际请求是发给我们自己的服务。# 安装必要的包 # pip install openai from openai import OpenAI # 注意这里的base_url指向我们本地启动的服务 client OpenAI( api_keynot-needed, # 因为本地服务通常不需要鉴权可以随便填 base_urlhttp://localhost:8000/v1 # 注意这里要加上 /v1 ) # 发起对话请求 response client.chat.completions.create( modelqwen1.5-1.8b-chat, # 模型名 messages[ {role: system, content: 你是一个乐于助人的助手。}, # 可选的系统提示设定助手行为 {role: user, content: 周末去爬山需要准备哪些物品} ], max_tokens150, streamFalse ) # 打印回复 print(response.choices[0].message.content)运行这段Python代码你应该能看到模型给出的关于爬山准备的物品清单。这说明你的模型服务已经完全就绪可以被应用程序调用了。4. 进阶配置与管理基础服务跑通后你可能还想知道怎么让它更贴合自己的需求以及如何管理这个服务。4.1 调整模型参数对话时你可以通过API参数控制模型的行为比如temperature默认可能0.7控制随机性。值越高如1.0回复越多样、有创意值越低如0.1回复越确定、保守。top_p另一种控制随机性的方式通常与temperature二选一。max_tokens控制生成回复的最大长度。stream设为true可以开启流式输出对于需要实时显示回复的场景如聊天界面很友好。在你的调用请求里加上这些参数即可。4.2 容器与服务的日常管理几个常用的Docker命令帮你管理这个服务停止服务sudo docker stop qwen-chat启动服务sudo docker start qwen-chat用于启动已停止的容器重启服务sudo docker restart qwen-chat查看实时日志sudo docker logs -f qwen-chat-f参数可以持续跟踪日志输出调试时很有用进入容器内部sudo docker exec -it qwen-chat /bin/bash如果你想查看容器内的文件结构或手动调试删除容器首先停止容器docker stop qwen-chat然后docker rm qwen-chat。注意这会删除容器但镜像还在。4.3 性能与资源监控模型运行时会消耗GPU显存和内存。你可以通过以下命令监控查看容器资源占用sudo docker stats qwen-chat查看GPU状态nvidia-smi。运行模型后你应该能看到对应进程容器的GPU利用率。对于这个1.8B的Int4量化模型在推理时显存占用通常可以控制在2GB以内这使得它甚至可以在一些消费级显卡上运行这也是“低成本”的核心所在。5. 写在最后走完这一整套流程你应该已经在Ubuntu 20.04上成功部署好了通义千问1.5-1.8B-Chat的GPTQ量化版。整个过程的核心思路其实就是利用Docker和预置镜像把复杂的模型和环境依赖打包让我们能通过几条简单的命令就拉起一个可用的服务。这种方式的优势很明显就是省心、快速、可复现。对于想快速体验模型能力、进行原型开发或者学习大模型部署的同学来说是一个非常不错的起点。这个轻量级模型在简单的对话、文案生成、代码补全等场景下已经能提供可用的效果足以让你感受大模型的工作方式。当然它也有其局限性比如知识截止日期、逻辑复杂任务处理能力有限等这与其模型规模是相关的。但在资源有限的情况下这无疑是一个性价比极高的选择。你可以基于这个部署好的API服务去开发自己的小应用或者集成到现有的工具链里。如果在操作过程中遇到其他问题多查看容器日志那里面通常包含了最直接的错误信息。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。