通义千问1.5-1.8B-Chat-GPTQ-Int4入门部署：Ubuntu 20.04系统环境保姆级配置

通义千问1.5-1.8B-Chat-GPTQ-Int4入门部署Ubuntu 20.04系统环境保姆级配置想试试通义千问这个轻量级模型结果第一步装环境就被卡住了这感觉我懂。网上教程要么太老要么太散照着做不是驱动报错就是依赖冲突最后只能对着命令行干瞪眼。今天这篇咱们就专门解决这个问题。我会手把手带你在Ubuntu 20.04上把运行通义千问1.5-1.8B-Chat-GPTQ-Int4模型所需的环境从零到一完整地搭起来。重点不是讲原理而是让你能一步一步跟着做避开那些常见的坑。我们会搞定系统更新、GPU驱动、CUDA、cuDNN还有Docker最后再聊聊怎么和星图平台的镜像顺畅对接。只要你有一台装了Ubuntu 20.04、带NVIDIA显卡的电脑或服务器跟着走今天就能把环境准备好。1. 准备工作检查你的起点在开始动手之前我们先花两分钟确认一下“起跑线”这能避免很多无用功。首先打开你的终端。在Ubuntu里你可以按CtrlAltT快速打开。确认系统版本 在终端里输入下面的命令看看输出是不是 Ubuntu 20.04。lsb_release -a你应该能看到类似这样的信息关键看Description这一行Description: Ubuntu 20.04.6 LTS检查显卡 我们需要知道你的电脑里有没有NVIDIA显卡以及具体型号。输入lspci | grep -i nvidia如果能看到一长串包含“VGA compatible controller: NVIDIA Corporation...”的信息那就说明显卡硬件是存在的。记下你的显卡型号比如 RTX 3060, RTX 4090等这对后续选择驱动版本有参考价值。最后确保网络通畅。因为接下来的步骤需要从互联网下载大量的软件包。好了起点确认完毕我们开始第一步把系统本身收拾利索。2. 第一步更新系统与安装基础工具一个干净、最新的系统是后续所有工作的基础。这一步很简单就是让Ubuntu自己更新到最新状态并安装一些我们后续会用到的工具。在终端中依次执行以下命令。第一条命令可能会要求你输入用户密码输入时屏幕不会有显示这是正常的。# 1. 更新软件包列表获取最新的版本信息 sudo apt update # 2. 升级所有已安装的软件包到最新版本 sudo apt upgrade -y # 3. 安装一些后续步骤可能需要的工具 # software-properties-common 用于管理软件源 # build-essential 包含编译代码需要的基础工具如gcc, make # curl 和 wget 是常用的命令行下载工具 sudo apt install -y software-properties-common build-essential curl wget-y参数的意思是自动回答“yes”省去我们手动确认的麻烦。整个过程可能会花几分钟取决于你的网速和需要更新的软件包数量。完成后你的系统就已经是一个状态良好的起点。接下来我们要解决最重要的部分让系统认识并使用你的NVIDIA显卡。3. 第二步安装NVIDIA显卡驱动显卡驱动是让操作系统和GPU硬件“对话”的桥梁。没装对驱动后面的CUDA什么的都白搭。Ubuntu 20.04提供了一个相对省心的方法来安装官方驱动。首先添加官方的显卡驱动PPA软件源sudo add-apt-repository ppa:graphics-drivers/ppa -y sudo apt update然后查找并安装推荐的驱动# 这个命令会列出所有可用的NVIDIA驱动版本并标记出推荐安装的版本 ubuntu-drivers devices执行后你会看到输出里有一行类似recommended的标识后面跟着一个驱动版本号比如nvidia-driver-535。最后安装这个推荐的驱动# 将下面的‘nvidia-driver-535’替换成你上一步看到的推荐版本号 sudo apt install -y nvidia-driver-535安装过程会比较长并且完成后会提示你需要重启系统。一定要重启否则新驱动不会生效。重启后再次打开终端输入以下命令来验证驱动是否安装成功nvidia-smi如果安装成功你会看到一个表格显示了你的GPU型号、驱动版本、CUDA版本这里显示的是驱动支持的最高CUDA版本并非我们已安装的以及GPU的使用情况。看到这个界面恭喜你最可能出问题的一关已经过了。4. 第三步安装CUDA工具包CUDA是NVIDIA推出的并行计算平台和编程模型很多AI框架包括PyTorch、TensorFlow都依赖它来在GPU上加速计算。我们需要安装一个与通义千问模型兼容的CUDA版本。这里我们选择安装CUDA 11.8这是一个比较稳定且广泛支持的版本。我们使用NVIDIA官方提供的网络安装方式。# 下载CUDA 11.8的安装脚本 wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda_11.8.0_520.61.05_linux.run # 给脚本添加执行权限 sudo chmod x cuda_11.8.0_520.61.05_linux.run # 运行安装程序 sudo sh cuda_11.8.0_520.61.05_linux.run运行安装程序后会出现一个基于文本的界面。首先阅读许可协议按空格键翻页最后输入accept并回车接受。在组件选择界面使用方向键移动按空格键取消勾选Driver因为我们已经安装了驱动。确保CUDA Toolkit 11.8是选中的。按回车键继续安装。安装完成后我们需要将CUDA的路径添加到系统环境变量这样系统才能找到它。打开你的用户配置文件如果你用的是bash shellnano ~/.bashrc在文件的最末尾添加以下几行export PATH/usr/local/cuda-11.8/bin${PATH::${PATH}} export LD_LIBRARY_PATH/usr/local/cuda-11.8/lib64${LD_LIBRARY_PATH::${LD_LIBRARY_PATH}}添加后按CtrlO保存再按CtrlX退出nano编辑器。最后让配置立即生效source ~/.bashrc验证CUDA是否安装成功nvcc --version如果命令输出了CUDA 11.8的版本信息说明安装和配置都正确了。5. 第四步安装cuDNN库cuDNN是NVIDIA深度神经网络加速库可以进一步优化深度学习框架在GPU上的性能。我们需要下载对应CUDA 11.8版本的cuDNN。请注意下载cuDNN需要注册NVIDIA开发者账号免费。这里假设你已经下载好了对应版本的cuDNN压缩包例如cudnn-linux-x86_64-8.9.7.29_cuda11-archive.tar.xz并放在了用户的Downloads文件夹下。在终端中执行以下操作# 1. 进入下载目录请根据你的实际存放路径调整 cd ~/Downloads # 2. 解压下载的cuDNN压缩包 tar -xvf cudnn-linux-x86_64-8.9.7.29_cuda11-archive.tar.xz # 3. 将cuDNN的文件复制到CUDA的安装目录中 sudo cp cudnn-linux-x86_64-8.9.7.29_cuda11-archive/include/cudnn*.h /usr/local/cuda-11.8/include sudo cp -P cudnn-linux-x86_64-8.9.7.29_cuda11-archive/lib/libcudnn* /usr/local/cuda-11.8/lib64 # 4. 修改文件权限确保所有用户可读 sudo chmod ar /usr/local/cuda-11.8/include/cudnn*.h /usr/local/cuda-11.8/lib64/libcudnn*这样就完成了cuDNN的安装。通常深度学习框架在运行时会自动链接这些库。6. 第五步安装Docker与NVIDIA Container Toolkit为了能方便、干净地运行星图平台提供的AI镜像我们需要Docker。而为了让Docker容器能使用宿主机的GPU我们还需要安装NVIDIA Container Toolkit。安装Docker# 1. 卸载旧版本如果有的话 sudo apt remove docker docker-engine docker.io containerd runc # 2. 安装依赖包 sudo apt install -y apt-transport-https ca-certificates curl gnupg lsb-release # 3. 添加Docker官方GPG密钥 curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg # 4. 添加Docker软件源 echo deb [archamd64 signed-by/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable | sudo tee /etc/apt/sources.list.d/docker.list /dev/null # 5. 更新并安装Docker引擎 sudo apt update sudo apt install -y docker-ce docker-ce-cli containerd.io # 6. 将当前用户添加到docker组这样就不用每次都加sudo了 sudo usermod -aG docker $USER重要执行完最后一条命令后你需要完全退出当前终端并重新登录或者重启系统用户组更改才会生效。安装NVIDIA Container Toolkit# 1. 添加NVIDIA Container Toolkit的软件源和密钥 distribution$(. /etc/os-release;echo $ID$VERSION_ID) curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list # 2. 更新并安装 sudo apt update sudo apt install -y nvidia-container-toolkit # 3. 重启Docker服务 sudo systemctl restart docker现在你可以运行一个测试命令来验证Docker能否调用GPUdocker run --rm --gpus all nvidia/cuda:11.8.0-base-ubuntu20.04 nvidia-smi如果这个命令能成功输出和你在宿主机上运行nvidia-smi类似的GPU信息表格那么恭喜你的Docker GPU环境也配置成功了7. 对接星图平台镜像的注意事项环境搭好了最后我们聊聊怎么用它。当你从星图镜像广场拉取一个通义千问的镜像比如qwen1.5-1.8b-chat-gptq-int4这类镜像后直接用Docker运行即可。但有时候可能会遇到“依赖冲突”的报错。这通常是因为镜像内部已经预置了特定版本的Python库如PyTorch、Transformers这些库对CUDA版本有要求。而我们宿主机安装的CUDA是给开发用的“运行时”两者并不直接冲突。解决思路是这样的首选方案信任镜像的封装。星图平台的镜像通常是开箱即用的它内部已经包含了运行所需的所有依赖。你只需要确保宿主机安装了正确版本的NVIDIA驱动和Docker GPU支持。直接用docker run命令启动让镜像使用它自带的CUDA环境。排查问题如果运行报错首先仔细阅读错误信息。很多错误是关于“找不到CUDA”或“CUDA版本不匹配”。这时可以检查镜像的文档或Dockerfile看它期望的CUDA版本是什么。我们前面安装的CUDA 11.8兼容性很好能覆盖大多数需求。终极手段如果确实需要调整可以考虑在运行容器时通过-v参数将宿主机的CUDA目录挂载到容器内覆盖容器内的版本。但这需要你对镜像内部结构比较了解一般不建议新手操作。简单来说对于大多数用户完成前面六步的配置后直接运行星图镜像就能成功。我们的环境工作是为镜像提供一个能够访问GPU的、标准的“底座”。8. 写在最后走完这一套流程你的Ubuntu 20.04系统应该已经是一个合格的AI模型运行环境了。从系统更新到驱动再到CUDA、Docker每一步我都尽量把命令和可能遇到的问题写清楚。实际操作中如果某一步出错了别慌。把终端的错误信息完整地复制下来去搜索引擎里查一查大概率能找到解决方案。配置环境本身就是学习和排查问题的过程。现在环境已经就绪你可以放心地去星图镜像广场选择你感兴趣的通义千问模型镜像开始你的AI应用体验了。记住一个好的开始是成功的一半而一个稳定的环境就是这一切的开始。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。