Nanbeige 4.1-3B 保姆级教程：VMware虚拟机中部署与测试全流程

Nanbeige 4.1-3B 保姆级教程VMware虚拟机中部署与测试全流程想在自己的电脑上用虚拟机搭建一个和云端GPU服务器类似的环境来跑跑最新的AI模型但又担心步骤太复杂今天我们就来手把手搞定这件事。我会带你在一台普通的电脑上通过VMware虚拟机从零开始部署和测试Nanbeige 4.1-3B这个模型。整个过程就像在本地搭了一个小型的“星图GPU服务器”让你能自由地进行模型推理和调试还不用担心影响宿主机系统。无论你是想学习模型部署还是需要在隔离环境里做开发测试这篇教程都为你铺好了路。我们会从虚拟机安装配置讲起一直到模型成功运行并能在浏览器里访问它的Web界面。准备好了吗我们开始吧。1. 环境准备搭建你的虚拟“服务器”在开始部署模型之前我们需要先准备好一个干净、稳定的Linux环境。对于大多数个人开发者来说在VMware里安装一个Ubuntu或CentOS虚拟机是最方便的选择。这里我以Ubuntu 22.04 LTS为例因为它对新手更友好社区支持也更完善。1.1 安装VMware与创建虚拟机首先确保你的电脑上已经安装了VMware Workstation Player免费版或Pro版。如果没有去官网下载安装即可。打开VMware点击“创建新的虚拟机”。我们选择“典型”配置然后指向你下载好的Ubuntu 22.04 ISO镜像文件。在接下来的步骤里有几个关键点需要注意虚拟机名称和位置取个容易识别的名字比如“Nanbeige-Test”并选择一个有足够剩余空间的磁盘位置。磁盘容量建议分配至少50GB。虽然系统本身用不了这么多但后续下载模型文件几个GB到几十个GB需要空间。选择“将虚拟磁盘拆分成多个文件”这样迁移和备份会更灵活。自定义硬件关键步骤点击“自定义硬件”这里需要仔细设置内存至少分配8GB8192 MB。运行大语言模型对内存有要求条件允许的话给到16GB会更流畅。处理器核心数量建议设置为2或4。确保勾选上“虚拟化Intel VT-x/EPT或AMD-V/RVI”选项这对后续某些加速功能可能有帮助。网络适配器选择“桥接模式”。这样虚拟机会获得一个和你宿主机同网段的独立IP地址方便后续从宿主机浏览器直接访问虚拟机里的Web服务。显示器如果你不需要图形界面可以在这里移除以节省资源。但我们为了操作直观暂时保留。设置完成后就可以启动虚拟机开始安装Ubuntu系统了。安装过程选择“最小安装”即可这样可以减少不必要的软件包。1.2 虚拟机基础配置与网络互通系统安装完成后第一件事是更新软件包并安装一些必要的工具。打开虚拟机里的终端依次执行以下命令# 更新软件包列表 sudo apt update sudo apt upgrade -y # 安装常用的开发工具和网络工具 sudo apt install -y wget curl git vim net-tools # 验证网络查看IP地址记住这个IP比如192.168.1.xxx ip addr show执行ip addr show后找到类似inet 192.168.1.xxx这样的信息这就是你虚拟机的IP地址。现在你可以尝试从宿主机的命令行Windows的CMD或PowerShellMac/Linux的终端去ping这个IP地址。如果能通说明桥接网络设置成功宿主机和虚拟机已经在一个网络里了这是后续访问WebUI的基础。2. 部署Nanbeige 4.1-3B模型环境就绪现在进入核心环节——部署模型。我们将使用一个非常流行的开源工具ollama来简化这个过程它能让模型像容器一样被拉取和运行。2.1 安装OllamaOllama的安装极其简单。在虚拟机的终端里只需一行命令curl -fsSL https://ollama.com/install.sh | sh这个脚本会自动完成下载、安装和服务的设置。安装完成后运行下面的命令启动Ollama服务并设置开机自启# 启动服务 sudo systemctl start ollama # 设置开机自启 sudo systemctl enable ollama2.2 拉取并运行Nanbeige模型Ollama服务跑起来后我们就可以拉取Nanbeige 4.1-3B模型了。在终端直接执行ollama run nanbeige:4.1-3b这是最关键的一步。Ollama会自动从它的模型库中下载nanbeige:4.1-3b这个模型。由于模型文件有几个GB大小下载时间取决于你的网速请耐心等待。下载完成后你会直接进入一个交互式对话界面就像下面这样 你好请介绍一下你自己。你可以直接输入问题测试模型会开始生成回答。这证明模型已经成功加载到内存中并可以运行了。按CtrlD可以退出这个交互界面。2.3 以API服务模式运行模型交互式对话适合快速测试但我们更常用的是让模型作为一个后台服务运行这样其他程序比如Web界面才能调用它。停止刚才的交互进程如果还在运行然后使用serve命令# 让模型作为API服务在后台运行默认监听11434端口 ollama serve运行这个命令后终端会挂起显示服务正在运行。这就对了不要关闭这个终端窗口。现在模型已经变成了一个HTTP服务我们可以用curl命令来测试一下API是否工作# 打开另一个终端窗口执行以下命令 curl http://localhost:11434/api/generate -d { model: nanbeige:4.1-3b, prompt: 天空为什么是蓝色的, stream: false }如果看到返回了一段包含模型回答的JSON数据恭喜你模型API服务部署成功3. 配置WebUI并进行测试只有API还不够友好我们需要一个图形界面。这里我们选用简洁易用的Open WebUI原名Ollama WebUI。3.1 使用Docker安装Open WebUIDocker能帮我们解决复杂的依赖问题。首先安装Docker# 安装Docker sudo apt install -y docker.io sudo systemctl start docker sudo systemctl enable docker # 将当前用户加入docker组避免每次都用sudo sudo usermod -aG docker $USER # 注意执行此命令后需要注销并重新登录虚拟机或者新开一个终端才会生效然后用一行Docker命令启动Open WebUIdocker run -d -p 3000:8080 --add-hosthost.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main参数解释一下-p 3000:8080将容器内的8080端口映射到虚拟机的3000端口。-v open-webui:/app/backend/data把数据卷挂载出来这样你的聊天记录、设置等数据在容器重启后也不会丢失。--restart always让容器随Docker服务自动重启。3.2 访问与配置WebUI启动完成后打开你宿主机上的浏览器比如Chrome或Edge。在地址栏输入http://你的虚拟机IP地址:3000将你的虚拟机IP地址替换成你之前在1.2节记下的那个IP例如http://192.168.1.105:3000。第一次访问会进入注册页面创建一个管理员账号。登录后进入设置Settings找到连接模型后端的地方。通常需要添加一个“Ollama”类型的后端URL填写http://host.docker.internal:11434这是因为WebUI运行在Docker容器内host.docker.internal这个特殊域名指向宿主机即你的Ubuntu虚拟机而Ollama服务正运行在宿主机的11434端口上。保存设置。3.3 完整功能测试现在回到WebUI的主界面你应该能在模型选择下拉菜单里看到nanbeige:4.1-3b这个选项。选中它然后在对话框里输入任何你想问的问题比如“写一首关于春天的七言诗”。点击发送如果一切顺利你将看到模型生成的答案流畅地出现在屏幕上。这标志着从虚拟机环境搭建、模型部署、服务化到Web界面访问的整个闭环已经全部跑通。4. 总结走完这一整套流程你应该已经成功在VMware虚拟机里搭建起了一个可以运行和测试Nanbeige 4.1-3B模型的完整环境。我们回顾一下几个关键点首先是利用VMware的桥接网络轻松实现了虚拟机和宿主机的互通这是远程访问的基础其次借助Ollama我们几乎零配置地完成了模型的拉取和服务化省去了很多麻烦最后通过Docker部署Open WebUI我们获得了一个直观易用的图形界面。这个虚拟环境非常适合用来做学习、开发和前期测试。你可以随意折腾不用担心搞乱主力机。如果遇到性能瓶颈可以回过头去调整虚拟机的CPU和内存分配。接下来你可以尝试用同样的方法部署其他模型或者探索Open WebUI的更多插件功能比如知识库上传、多模型切换等等。动手试试吧实践是最好的老师。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。