Phi-3-mini-4k-instruct-gguf一键部署：VMware虚拟机Ubuntu系统安装全流程

Phi-3-mini-4k-instruct-gguf一键部署VMware虚拟机Ubuntu系统安装全流程1. 准备工作与环境搭建在开始之前我们需要准备好必要的软件和资源。这个教程适合那些习惯在虚拟化环境中工作的开发者特别是需要在本地测试后再部署到生产环境的场景。首先确保你已经下载了以下内容VMware Workstation Pro/Player最新版本Ubuntu Server 22.04 LTS镜像文件Phi-3-mini-4k-instruct-gguf模型文件建议使用至少8GB内存的物理机因为虚拟机需要分配足够资源才能流畅运行。如果你的机器配置较低可以考虑使用轻量级的Ubuntu版本或者减少虚拟机分配的资源。2. 创建Ubuntu虚拟机2.1 新建虚拟机向导打开VMware Workstation点击创建新的虚拟机开始配置选择自定义(高级)安装类型硬件兼容性选择最新版本选择稍后安装操作系统客户机操作系统选择Linux版本选择Ubuntu 64位为虚拟机命名并选择存储位置建议至少有30GB可用空间2.2 配置虚拟机硬件在硬件配置界面建议设置处理器2核或更多根据主机配置调整内存至少4GB8GB更佳网络连接NAT模式便于上网磁盘SCSI类型至少25GB容量拆分成多个文件完成后点击完成按钮创建虚拟机。3. 安装Ubuntu系统3.1 启动安装过程右键新建的虚拟机选择设置在CD/DVD设备中选择下载的Ubuntu ISO镜像文件。然后启动虚拟机进入Ubuntu安装界面。选择Install Ubuntu Server开始安装语言选择English或其他你熟悉的语言键盘布局保持默认网络配置选择DHCP自动获取IP代理设置留空除非你有特殊需求3.2 磁盘分区在磁盘分区步骤选择Use an entire disk让安装程序自动分区。确认后继续设置主机名如ubuntu-phi3设置用户名和密码记住这些凭证后续SSH连接需要选择不安装SSH服务我们稍后手动安装跳过选择额外软件包安装完成后系统会提示重启。移除ISO镜像后按回车重启虚拟机。4. 安装VMware Tools与基础配置4.1 安装VMware Tools重启后登录系统我们需要安装VMware Tools以获得更好的性能和功能在VMware菜单选择虚拟机→安装VMware Tools在虚拟机中挂载CD-ROMsudo mkdir /mnt/cdrom sudo mount /dev/cdrom /mnt/cdrom解压并安装cd /mnt/cdrom tar -xzvf VMwareTools-*.tar.gz -C /tmp/ cd /tmp/vmware-tools-distrib/ sudo ./vmware-install.pl -d4.2 配置共享文件夹为了方便在主机和虚拟机之间传输文件设置共享文件夹在VMware设置中添加共享文件夹主机路径选择你的工作目录在虚拟机中挂载共享文件夹sudo mkdir /mnt/hgfs sudo vmhgfs-fuse .host:/ /mnt/hgfs -o subtypevmhgfs-fuse,allow_other设置开机自动挂载echo .host:/ /mnt/hgfs fuse.vmhgfs-fuse allow_other,defaults 0 0 | sudo tee -a /etc/fstab5. 配置SSH与网络5.1 安装SSH服务为了能够从主机SSH连接到虚拟机安装OpenSSHsudo apt update sudo apt install -y openssh-server检查SSH服务状态sudo systemctl status ssh5.2 网络配置确保虚拟机可以访问互联网ping -c 4 google.com如果需要静态IP编辑网络配置sudo nano /etc/netplan/00-installer-config.yaml添加类似配置network: ethernets: ens33: dhcp4: no addresses: [192.168.1.100/24] gateway4: 192.168.1.1 nameservers: addresses: [8.8.8.8, 8.8.4.4]应用配置sudo netplan apply6. 部署Phi-3-mini模型6.1 准备运行环境安装必要的依赖sudo apt install -y python3-pip git pip3 install torch transformers6.2 下载模型文件从星图GPU平台下载Phi-3-mini模型git clone https://your-model-repo/phi-3-mini-4k-instruct-gguf.git cd phi-3-mini-4k-instruct-gguf6.3 运行模型使用Python脚本加载并运行模型from transformers import AutoModelForCausalLM, AutoTokenizer model AutoModelForCausalLM.from_pretrained(./phi-3-mini-4k-instruct-gguf) tokenizer AutoTokenizer.from_pretrained(./phi-3-mini-4k-instruct-gguf) input_text 解释一下量子计算的基本原理 inputs tokenizer(input_text, return_tensorspt) outputs model.generate(**inputs, max_length200) print(tokenizer.decode(outputs[0]))7. 总结与后续建议整个安装过程走下来VMware虚拟机提供了一个很好的隔离环境来测试和运行Phi-3-mini模型。相比直接在物理机上安装虚拟机的优势在于可以随时创建快照和回滚特别适合开发和测试场景。实际使用中我发现Ubuntu Server 22.04在这个配置下运行相当流畅SSH连接也很稳定。Phi-3-mini模型在4K上下文长度下表现不错虽然推理速度比不上直接使用GPU但对于学习和测试来说已经足够。如果你打算长期使用这个环境建议考虑以下几点优化定期创建虚拟机快照防止系统崩溃导致数据丢失根据实际需求调整虚拟机的CPU和内存分配可以配置VS Code的Remote SSH插件获得更好的开发体验考虑使用Docker容器来管理模型运行环境提高可移植性获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。