Qwen3.5-9B-AWQ-4bit VMware虚拟机安装Ubuntu及GPU环境配置

Qwen3.5-9B-AWQ-4bit VMware虚拟机安装Ubuntu及GPU环境配置1. 准备工作在开始之前我们需要确认几个关键事项主机硬件配置确保你的物理机至少16GB内存推荐32GB并配备NVIDIA GPU支持CUDA软件准备下载最新版VMware Workstation Pro16.x或17.x和Ubuntu 22.04 LTS镜像磁盘空间建议预留至少50GB空间用于虚拟机为什么选择Ubuntu 22.04这是目前最稳定的Linux发行版之一对NVIDIA驱动和CUDA支持良好也是大多数AI框架官方推荐的系统版本。2. 创建VMware虚拟机2.1 新建虚拟机打开VMware Workstation点击创建新的虚拟机选择自定义(高级)配置硬件兼容性选择最新版本如Workstation 17.x选择稍后安装操作系统客户机操作系统选择Linux版本选择Ubuntu 64位2.2 配置虚拟机参数处理器至少4核推荐8核开启虚拟化VT-x/AMD-V内存分配至少12GB16GB更佳网络建议使用NAT模式磁盘创建新虚拟磁盘容量50GB选择将虚拟磁盘拆分成多个文件其他移除不必要的硬件如USB控制器、声卡重要提示在自定义硬件中记得添加一个虚拟TPM 2.0模块用于Ubuntu 22.04的安全启动。3. 安装Ubuntu系统3.1 启动安装挂载下载的Ubuntu 22.04 ISO镜像启动虚拟机选择Install Ubuntu语言选择English或其他你偏好的语言选择Minimal installation和Install third-party software3.2 磁盘分区建议采用以下分区方案以50GB磁盘为例EFI系统分区512MB交换空间物理内存的1.5倍如16GB内存则分配24GB根分区剩余所有空间ext4文件系统3.3 完成安装设置用户名和密码后等待安装完成并重启。首次登录后立即运行系统更新sudo apt update sudo apt upgrade -y4. 安装VMware ToolsVMware Tools能显著提升虚拟机性能特别是图形和文件共享功能sudo apt install open-vm-tools open-vm-tools-desktop -y sudo reboot安装完成后你应该能调整虚拟机窗口大小自动适应在主机和虚拟机间复制粘贴启用共享文件夹功能5. GPU环境配置5.1 启用GPU直通PCIe Passthrough前提条件主机支持VT-d/AMD-Vi技术BIOS中已启用相关选项主机有备用GPU或集成显卡配置步骤关闭虚拟机编辑.vmx配置文件添加pciPassthru.use64bitMMIO TRUE pciPassthru.64bitMMIOSizeGB 32在VMware中为虚拟机添加PCI设备你的NVIDIA GPU启动虚拟机检查GPU是否识别lspci | grep -i nvidia5.2 安装NVIDIA驱动如果无法直通GPU可以使用VMware的虚拟GPUsudo ubuntu-drivers autoinstall sudo reboot验证驱动安装nvidia-smi5.3 安装CUDA Toolkit推荐安装CUDA 12.1wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin sudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600 sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/3bf863cc.pub sudo add-apt-repository deb https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/ / sudo apt-get update sudo apt-get -y install cuda-12-1添加环境变量到~/.bashrcexport PATH/usr/local/cuda-12.1/bin${PATH::${PATH}} export LD_LIBRARY_PATH/usr/local/cuda-12.1/lib64${LD_LIBRARY_PATH::${LD_LIBRARY_PATH}}5.4 安装Docker和NVIDIA Container Toolkitsudo apt install docker.io -y sudo systemctl enable --now docker sudo usermod -aG docker $USER newgrp docker # 安装NVIDIA Container Toolkit distribution$(. /etc/os-release;echo $ID$VERSION_ID) \ curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \ curl -fsSL https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | \ sed s#deb https://#deb [signed-by/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g | \ sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list sudo apt-get update sudo apt-get install -y nvidia-container-toolkit sudo nvidia-ctk runtime configure --runtimedocker sudo systemctl restart docker验证安装docker run --rm --gpus all nvidia/cuda:12.1-base nvidia-smi6. 部署Qwen3.5-9B-AWQ-4bit现在环境已经准备就绪可以部署Qwen3.5模型了docker pull qwenllm/qwen:cu121 docker run -it --rm --gpus all -p 8000:8000 qwenllm/qwen:cu121 python -m vllm.entrypoints.api_server --model Qwen/Qwen1.5-9B-Chat-AWQ --quantization awq --trust-remote-code访问http://localhost:8000/docs即可使用API接口。7. 常见问题解决7.1 GPU直通失败如果lspci能看到GPU但nvidia-smi报错尝试sudo nano /etc/modprobe.d/blacklist.conf添加blacklist nouveau options nouveau modeset0然后sudo update-initramfs -u sudo reboot7.2 CUDA版本冲突如果遇到CUDA版本问题可以sudo apt install cuda-toolkit-12-1 sudo update-alternatives --config cuda7.3 Docker权限问题如果docker命令需要sudo确保sudo usermod -aG docker $USER newgrp docker8. 总结与建议整个安装过程大概需要1-2小时取决于你的网络速度和硬件性能。实际用下来VMware虚拟机中的GPU性能大约是物理机的70-80%对于开发和测试Qwen3.5这样的模型已经足够。建议定期更新驱动和CUDA版本保持环境最新。如果遇到性能瓶颈可以考虑直接使用物理机安装Ubuntu或者尝试Proxmox等更专业的虚拟化方案。对于生产环境还是推荐使用物理服务器或云GPU实例但作为开发测试环境这套VMware方案既灵活又方便能很好地满足日常AI模型开发和调试需求。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。