大模型集成显卡支持及NPU支持

chap1 独显在 Windows AMD 笔记本上让 Ollama 用上 AMD 显卡核心是更新 AMD 驱动 安装 ROCm 6.1 用最新版 Ollama 强制用独显。一、先确认你的显卡是否被支持Ollama Windows 只支持以下 AMD 独显集显不支持RX 7000 系列7900 XTX/XT/GRE、7800 XT、7700 XT、7600 XT/7600RX 6000 系列6950 XT、6900 XTX/XT、6800 XT/6800Radeon PRO 系列W7900/W7800/W7700/W7600、W6900X 等二、安装 / 更新必备软件1. 更新 AMD 显卡驱动打开AMD Software: Adrenalin Edition→ 检查更新或去 AMD 官网下载最新版驱动https://www.amd.com/en/support必须是2025 年后、支持 ROCm 6.1 的驱动2. 安装 ROCm 6.1关键Ollama Windows 依赖ROCm 6.1 或更高下载https://rocm.docs.amd.com/projects/install-on-windows/en/latest/install/install.html安装时勾选HIP SDK和ROCm Libraries安装后重启电脑3. 安装 / 更新 Ollamav0.17.0官网下载最新版https://ollama.com/download/windows安装后在 PowerShell 验证版本powershellollama version确保 ≥0.17.0chap2 集显一、官方态度与计划2026.3官方 Windows 版只支持 AMD 独显RX 6000/7000、Radeon PRO不支持集显。路线图Ollama 官方未公布 Windows 下 AMD 集显支持时间表短期内2026 上半年可能性低。底层原因Windows 上 ROCm 对 APU / 集显支持不完善Ollama 优先适配独显生态。二、Windows 直接用 AMD 集显跑 Ollama魔改方案方案 1ollama-for-amd 魔改版推荐780M/790M 可用社区项目ollama-for-amd已适配 AMD 集显如 780M、790Mgfx1103。卸载官方 Ollama。下载魔改版https://github.com/likelovewant/ollama-for-amd/releases安装 / 解压后替换对应集显的 ROCm 库如 780M 用gfx1103版。重启服务即可用集显跑模型。优点原生 Windows、无需虚拟机、速度比 CPU 快很多。缺点非官方、需手动替换文件、稳定性一般。方案 2llama.cpp/ LM Studio纯 CPU 集显 混合加速llama.cpp原生支持 AMD GPU包括集显用 OpenCL 或 HIP 加速适合轻量模型1.5B–3B。LM Studio带 GUI自动适配 AMD 集显一键下载运行适合新手。命令示例llama.cppbash运行./main -m llama3.2-3b-q4_k_m.gguf -ngl 20 --gpu amd三、WSL2 Linux最稳定、性能最好在 Windows 内置 Linux 子系统中ROCm 对 AMD 集显支持更好可稳定跑 Ollama。启用 WSL2powershellwsl --install -d Ubuntu-22.04在 Ubuntu 中安装 Ollamabash运行curl -fsSL https://ollama.com/install.sh | sh安装 ROCm 并启用集显bash运行sudo apt install rocm-hip-sdk export HSA_OVERRIDE_GFX_VERSIONgfx1103 # 780M 填 gfx1103运行模型bash运行ollama run llama3.2:3b优点官方支持、稳定、性能接近原生 Linux。缺点占用磁盘20GB、需熟悉 Linux 命令。四、纯 CPU 方案最稳妥无 GPU 依赖直接用官方 Ollama跑轻量量化模型1.5B–3BQ4 及以下。示例bash运行ollama run qwen:1.8b ollama run phi3:mini适合仅做简单问答、摘要对速度要求不高。chap3 LM StudioLM Studio 对 AMD 集显核显支持很友好Windows 下用 Vulkan 后端即可稳定启用适合 780M/790M、Vega 等核显比纯 CPU 快很多。一、前期准备必做更新 AMD 驱动安装最新Adrenalin 版驱动2025 年后版本打开 AMD Software → 检查更新并安装安装 LM Studio官网下载https://lmstudio.ai/download安装后打开首次启动会自动初始化环境模型选择优先选GGUF 格式、Q4_K_M 量化如 llama3.2:3b、qwen2.5:7b核显显存有限780M/790M 建议 ≤7B老核显Vega 8建议 ≤3B二、启用 AMD 集显Vulkan 后端1. 切换加速引擎关键打开 LM Studio → 点击右上角⚙️ Settings进入Runtime→GGUF Acceleration下拉选择Vulkan不要选 CUDA/OpenCL重启 LM Studio2. 强制使用 AMD 集显双显卡笔记本打开AMD Software: Adrenalin→性能 → 图形 → 应用程序设置找到LM Studio或手动添加lmstudio.exe图形配置设为高性能AMD 独显 / 核显禁用 Intel 集显电源选项设为高性能模式3. 加载模型并开启 GPU 加速进入Chat标签 → 搜索并下载模型如 llama3.2:3b下载后点击Load→ 勾选Show advanced settingsGPU Offload Layers拉到最大如 35–40勾选Use GPU acceleration点击Load启动Chap4 NPU方案 1LM Studio AMD 集显Vulkan最省心用Vulkan 后端跑 AMD 集显780M/790M不占用 NPU但速度比纯 CPU 快很多。操作更新最新Adrenalin 驱动含 Vulkan。LM Studio → Settings → Runtime → GGUF Acceleration →Vulkan。加载模型GPU Offload Layers 拉满。效果780M 跑 3B 模型约15–30 tokens/s低功耗、稳定。方案 2AMD 官方工具链NPU 原生性能最强用 AMD 自家软件跑 NPU再通过 LM Studio 前端交互AMD。安装Ryzen AI Software含 NPU 驱动、编译器官网https://www.amd.com/zh-cn/developer/resources/ryzen-ai-software.html安装AI BundleAdrenalin 驱动内一键安装含 ROCm、Ollama。用Ollama Ryzen AI NPU跑模型bash运行# 启用 NPU 加速需 Ryzen AI Software set ROCM_PATHC:\Program Files\AMD\ROCm\6.3 set HSA_OVERRIDE_GFX_VERSIONgfx1103 ollama run llama3.2:3bLM Studio 连接 Ollama 服务LM Studio → Local Server → Connect to Ollama → 即可在 LM Studio 聊天界面使用。优点真正用 NPU 推理功耗极低、速度接近集显。缺点需安装 AMD 全套 AI 软件配置略复杂。方案 3llama.cpp AMD NPU命令行进阶llama.cpp 已在测试 AMD NPU 支持需编译特定分支。bash运行# 编译支持 NPU 的 llama.cpp示例 git clone https://github.com/ggerganov/llama.cpp cd llama.cpp make LLAMA_AMD_NPU1 ./main -m llama3.2-3b-q4_k_m.gguf -ngl 99 --npu amd适合想极致榨干 NPU、能接受命令行的用户。chap5 NPUOllama目前能真正用上 AMD Ryzen AI NPUXDNA跑本地大模型的方案按易用性排序如下一、Ollama Ryzen AI Software最推荐新手友好唯一能一键用 NPU、还能连 LM Studio 界面的方案。1. 安装环境必须安装最新Adrenalin 驱动26.1.1安装时勾选 AI Bundle含 ROCm、NPU 驱动、Ollama。重启电脑系统自动配置好 NPU 环境。2. 用 NPU 跑模型bash运行# 直接运行自动启用 NPU 加速 ollama run llama3.2:3b # 或指定 NPU 模式部分机型需手动 set ROCM_PATHC:\Program Files\AMD\ROCm\6.3 set HSA_OVERRIDE_GFX_VERSIONgfx1103 ollama run qwen2.5:7b3. 用 LM Studio 做界面可选LM Studio → Local Server → Connect to Ollama即可在 LM Studio 聊天界面用 NPU 推理。效果7840HS/8845HS 跑 3B 模型约15–25 tokens/s纯 NPU 低功耗。二、FastFlowLMNPU 专用极简专为 AMD NPU 优化的轻量工具完全跑在 NPU 上不占 GPU/CPU。1. 安装bash运行# 下载安装20秒完成 winget install FastFlowLM.FastFlowLM # 或官网下载https://github.com/FastFlowLM/FastFlowLM2. 运行bash运行# 拉取并运行 NPU 优化模型 fastflowlm run llama3.2:3b # 启动 OpenAI 兼容服务供 LM Studio 连接 fastflowlm serve优点体积仅 16MB、功耗极低、支持 256k 上下文。缺点模型库较少需用其专用格式。三、llama.cpp AMD NPU命令行性能最强llama.cpp 已支持 AMD NPU需编译特定分支适合极客Ryzen AI Software。1. 编译Windowsbash运行git clone https://github.com/ggerganov/llama.cpp cd llama.cpp cmake -B build -DGGML_AMD_NPUON cmake --build build --config Release2. 运行bash运行./build/bin/llama-cli -m llama3.2-3b-q4_k_m.gguf -ngl 99 --npu amd优点性能最优、支持所有 GGUF 模型、可精细调参。缺点需编译、无 GUI。四、LM Studio 原生暂不直接支持 NPULM Studio 目前不直接调用 NPU但可通过连接 Ollama/FastFlowLM 服务间接使用 NPUAMD。直接用 LM Studio仅能跑Vulkan集显不碰 NPU。间接用 NPULM Studio → 连接 Ollama/FastFlowLM 服务。chap 6 AI Bundle一、先确认为什么看不到 AI BundleAI Bundle 不是所有机型、所有驱动都有满足以下条件才会显示AMD驱动版本必须是Adrenalin 26.1.1 及以上2026-01-21 及以后硬件必须是Ryzen AI 300/400/Max 系列如 7840HS/8845HS/AI 9 HX 370或RX 7700 独显安装方式必须走自定义安装Additional Options快速安装不显示系统必须是Windows 11 64-bit 22H2Chap7AI Bundle 的替代方案如果你的机型不支持 AI Bundle如 7840HS 等老 AI 机型或安装界面确实没有用下面方法单独装 NPU 驱动 Ollama一样能用 NPU 跑模型。方案 A单独安装 Ryzen AI NPU 驱动官方下载 NPU 驱动包适配 7840HS/8845HS 等官方下载https://ryzenai.docs.amd.com/en/latest/inst.html直接下载https://ryzenai.docs.amd.com/en/latest/_downloads/928888888888/NPU_RAI1.2_20240729.zip安装解压 → 以管理员身份打开终端运行.\npu_sw_installer.exe安装完成 → 重启验证任务管理器 → 性能 → 看是否有NPU0方案 B安装 Ollama手动配置 NPU下载 Ollamahttps://ollama.com/download/windows配置环境变量启用 NPUbash运行set ROCM_PATHC:\Program Files\AMD\ROCm\6.3 set HSA_OVERRIDE_GFX_VERSIONgfx1103运行模型自动用 NPUbash运行ollama run llama3.2:3b方案 CLM Studio 间接用 NPULM Studio 本身不直接调用 NPU但可以连接 Ollama 服务LM Studio → Local Server → Connect to Ollama即可在 LM Studio 界面用 NPU 推理