端侧AI 模型部署实战二(云端、PC 本地、手机端侧主流大模型及部署工具 )

AI的大模型部署主要有云端、PC 本地、手机端侧 三大场景。* 云端大模型在线 API / 网页最强能力* PC 本地大模型Windows/macOSGGUF 优先* 消费电子手机端侧大模型Android/iOS离线本地一、云端大模型闭源为主API / 网页调用1. 主流模型国际闭源GPT-5.4、GPT-4.5 TurboOpenAIClaude Opus 4.6、Claude 3.5 SonnetAnthropicGemini 3.1 Ultra、Gemini 1.5 FlashGoogle国产闭源通义千问 3.5 Max/Pro阿里文心一言 5.0百度混元 2.0腾讯豆包 4.0字节2. 云端部署 / 调用工具官方 API 平台OpenAI API、Anthropic API、Google Gemini API阿里云通义千问 API、百度千帆 API、腾讯混元 API第三方集成 / 管理工具LangChain大模型编排、RAG、Agent 开发LlamaIndex文档索引、检索增强、知识库Flowise低代码可视化构建 LLM 工作流Dify一站式 AI 应用开发提示词、知识库、APIFastAPI/Flask自建 API 网关封装多模型调用网页 / 客户端ChatGPT、Claude、Gemini 网页版通义千问、文心一言、豆包 App / 网页二、PC 本地大模型开源为主7B–70B离线运行1. 主流模型2026通用基座Llama 3.1/48B/70B、Qwen 3.57B/14B/32B/72BMistral-7B/13B、DeepSeek R1/Coder7B/16B/33BGLM 57B/13B/34B、Yi 34B轻量入门无独显也可跑Qwen 3.5 0.8B/1.8B、Gemma 4 2B/3B、MobileLLM 1.1B2. PC 本地部署 / 运行工具按易用度排序1一键式 GUI 工具Ollama最流行一句话启动ollama run llama3.1/ollama run qwen3.5支持 Windows/macOS/Linux自动下载、量化、运行内置 API可对接 Chatbot、IDE 插件LM Studio可视化模型库、一键下载 / 运行、参数调节支持 GGUF/GGML 量化多模型并行内置聊天界面适合个人本地使用GPT4All开源免费内置大量轻量模型纯 CPU 也可运行适合轻薄本Text Generation WebUIOobabooga功能最全的开源 WebUI支持加载各类模型格式支持 LoRA 微调、插件扩展、多模态适合开发者深度定制2命令行 / 推理引擎性能优先llama.cppGGUF 格式标杆纯 C/CCPU/GPU 加速极快内存占用极低支持量化Q4_K_M/Q5_K_M7B 模型仅需 4–6GB 内存命令./main -m qwen3.5-7b-q4.gguf -p 你好vLLM高吞吐推理主打高并发、低延迟适合本地服务部署支持 PagedAttention显存利用率高适合 13B/34B/70B 模型需 NVIDIA GPUTensorRT-LLMNVIDIA 极致加速基于 TensorRT推理速度最快适合高端显卡RTX 4090/ADA 系列做本地服务ExLlamaV2GGUF/GPTQ 双支持速度与 llama.cpp 相当支持更多模型格式适合追求极致速度的用户3框架 / 开发工具开发者TransformersHugging Face加载 / 推理 / 微调一站式支持所有主流开源模型配合accelerate、bitsandbytes实现 4/8 比特量化AutoGPTQGPTQ 量化专用显存占用大幅降低适合在有限显存下跑大参数模型Unsloth轻量微调框架速度快、显存省适合个人 PC 做 LoRA 微调三、手机端侧大模型0.8B–8B离线 / 低功耗1. 主流模型2026国际端侧Gemma 4 E2B/E4BGoogle5B/8B有效 2.3B/4.5BGemini Nano 41B–4BPixel 内置MobileLLM-ProMeta1.1B开源国产端侧Qwen 3.5 0.8B/2B/4B阿里Android 适配最佳文心端侧 1B/3B百度小米 MIMO-V23B–8B小米旗舰内置华为端侧模型4B–8B麒麟 9010 内置2. 手机端侧部署 / 运行工具1Android 端侧框架开发 / 集成TFLiteTensorFlow LiteGoogle 官方端侧推理框架支持 Gemma、MobileLLM支持 CPU/GPU/NPU 加速量化友好MNN阿里国产端侧推理引擎对 Qwen 系列优化极佳支持 Android/iOS低内存、低延迟NCNN腾讯轻量高效支持移动端 CPU/GPU 加速适合轻量模型0.8B–2Bllama.cpp for Android直接在 Android 上跑 GGUF 模型Termux 环境可用适合极客折腾HF Transformers for Android移动端 Hugging Face 生态加载 / 推理模型2iOS 端侧框架Core MLApple 原生框架A17 Pro/A19 芯片 NPU 加速支持 Gemma、Qwen 等模型的 Core ML 格式转换MLXApple专为 Apple Silicon 优化支持端侧推理 / 微调适合在 iPhone/Mac 上统一开发3手机端侧 App直接使用ChatdollAndroid内置 Qwen/Gemma 端侧模型离线聊天LM Studio Mobile移动端版 LM Studio下载 / 运行 GGUF 模型Termux llama.cppAndroid 极客命令行运行任意 GGUF 模型完全离线四、三大场景模型 工具速览表场景参数范围代表模型核心部署 / 运行工具硬件门槛云端千亿万亿GPT-5.4、Claude Opus 4.6、Gemini 3.1 Ultra、通义千问 3.5 MaxOpenAI API、LangChain、Dify、Flowise企业级服务器 / 集群PC 本地7B~70BLlama 3.1-8B、Qwen 3.5-7B、Mistral-7B、DeepSeek R1Ollama、LM Studio、llama.cpp、vLLM、Transformers16GB 内存 8GB 显存手机端侧0.8B~8BGemma 4 E2B、Qwen 3.5-2B、Gemini Nano 4、MobileLLM-ProTFLite、MNN、llama.cpp for Android、Core ML旗舰手机6GB 内存NPU 优先五、端侧 AI 工程师部署标准链路场景原始模型safetensors↓PyTorch 脚本转 GGUF↓llama.cpp 核心LM Studio 预览 / Android 端侧部署运行下一篇Miniconda/PyTorch/Jupyter/LM Studio/llama.cpp Android完成从原始hugging face 原始模式-- pytorch自定义量化微调 -- LM Studio预览 Android端侧部署。