DwarfStar 4：Redis 之父打造 DeepSeek V4 Flash 本地推理引擎，MacBook 上跑出 26 tok/s

DwarfStar 4Redis 之父打造 DeepSeek V4 Flash 本地推理引擎MacBook 上跑出 26 tok/s一、背景本地运行 284B 大模型成为现实2026 年 5 月一个开源项目在 GitHub 上迅速获得 10k 星标——DwarfStar 4 (ds4)由 Redis 创始人 Salvatore Sanfilippoantirez开发的 DeepSeek V4 Flash 专用本地推理引擎。在此之前本地运行 284B 参数的大模型被认为是不切实际的模型太大、显存不够、推理速度慢。但 DeepSeek V4 Flash 的 MoE混合专家架构改变了这一切——每次推理只激活约 30B 参数配合 2-bit 量化可以在 MacBook 上流畅运行。antirez 说「DeepSeek V4 Flash 很特别值得一个专用的推理引擎。」二、DwarfStar 4 是什么ds4 是一个完全自包含的本地推理引擎专为 DeepSeek V4 Flash 设计。它不是通用 GGUF 运行器而是深度定制的单模型引擎。核心设计哲学项目的 README 明确说明了几个关键理念非通用实现— 只针对 DSV4 一个模型不做通用 GGUF loaderKV 缓存是一等磁盘公民— 利用现代 MacBook 的高速 SSDKV 缓存不仅仅存在于 RAM 中还可以持久化到磁盘三件套— 推理引擎 HTTP API 特制 GGUF 量化文件三者配合开箱即用AI 辅助开发— 项目使用 GPT 5.5 辅助编码antirez 主导设计、测试和调试支持的硬件后端后端状态说明Metal✅ 主要目标MacBook 96GB RAMMac StudioCUDA✅ 支持DGX Spark优先通用 GPUAMD ROCm⚠️ rocm 分支社区维护antirez 无硬件CPU⚠️ 调试用macOS 有内核 bug仅限 Linux三、为什么选择 DeepSeek V4 Flashantirez 在项目文档中列出了选择 DSV4 作为引擎目标的 8 个理由速度快— MoE 架构激活参数少推理更快思考模式高效— 思考段长度与问题复杂度成正比平均仅为其他模型的 1/51M token 上下文窗口— 百万级上下文284B 参数的知识储备— 在知识边缘采样时284B 远胜 27B/35B 模型英文/意大利文写作质量— 接近前沿模型水平极致 KV 压缩— 支持本地长上下文推理和磁盘 KV 持久化2-bit 量化可用— 特殊非对称量化方案MoE expert 仅用 IQ2_XXSDeepSeek 将持续更新 V4 Flash— 未来版本会更好四、实测性能数据Metal 后端推理速度设备量化场景Prefill生成速度MacBook Pro M3 Max, 128GBq2短提示58.52 t/s26.68 t/sMacBook Pro M3 Max, 128GBq211709 tokens250.11 t/s21.47 t/sMac Studio M3 Ultra, 512GBq2短提示84.43 t/s36.86 t/sMac Studio M3 Ultra, 512GBq211709 tokens468.03 t/s27.39 t/sMac Studio M3 Ultra, 512GBq4短提示78.95 t/s35.50 t/sMac Studio M3 Ultra, 512GBq412018 tokens448.82 t/s26.62 t/sDGX Spark GB10, 128GBq27047 tokens343.81 t/s13.75 t/s关键观察Mac Studio M3 Ultra 在 q2 量化下的预填速度达到 468 t/s意味着载入长上下文几乎瞬间完成。生成速度 27-37 t/s 对于日常编码辅助已经非常可用。量化精度ds4 提供两种量化方案q2-imatrix推荐96/128GB 设备仅量化 MoE 路由专家up/gate 层用 IQ2_XXSdown 层用 Q2_K共享 expert 和 projection 保持全精度q4-imatrix256GB 设备更高精度imatrix 版本通过权重重要性矩阵importance matrix优化量化在 2-bit 下仍能保持 coding agent 工具调用的可靠性。五、安装与使用下载模型gitclone https://github.com/antirez/ds4cdds4# 下载量化模型推荐 q2-imatrix./download_model.sh q2-imatrix编译# macOS Metalmake# Linux CUDAmakecuda-spark# DGX Sparkmakecuda-generic# 通用 GPU命令行使用./ds4-mds4flash.gguf-p用 Python 写一个快速排序--temp0作为服务运行Agent 模式./ds4-server --kv-disk-dir /tmp/ds4-kv启动 HTTP API 服务兼容 OpenAI API 格式然后可以将 Claude Code 等 coding agent 指向本地服务exportANTHROPIC_BASE_URLhttp://127.0.0.1:8000exportANTHROPIC_MODELdeepseek-v4-flashclaude六、专家级功能磁盘 KV 缓存这是 ds4 最独特的功能之一。传统本地推理的 KV 缓存完全在 RAM 中ds4 支持将 KV 状态持久化到磁盘./ds4-server --kv-disk-dir /tmp/ds4-kv --kv-disk-space-mb8192缓存文件结构是自定义的二进制格式.kv 文件包含渲染文本前缀SHA1 作为文件名精确的 token ID 和图状态tool-id 映射表用于精确的 DSML 回复四个保存时机冷启动cold、续写continued、驱逐evict、关闭shutdown这意味着你可以关闭服务器再重启之前的对话上下文自动恢复无需重新处理整个提示。方向控制Steeringds4 支持基于单向量激活方向的模型行为控制基于《Refusal in Language Models Is Mediated by a Single Direction》论文控制模型回答的详细程度减少在特定领域的回复意愿比微调快得多思考模式DeepSeek V4 Flash 有三种模式模式说明非思考Non-thinking直接回复最快思考Thinking默认模式生成思考过程Think Max最大深度思考需足够上下文可以通过 API 参数reasoning_effort或模型别名控制。测试验证ds4 使用官方 DeepSeek API 的 logprobs 作为测试向量确保本地推理与云端结果一致maketest./ds4_test --logprob-vectors ./ds4_test--server测试覆盖短上下文和长上下文最高验证到 250k tokens 的回溯一致性。七、与 llama.cpp 的对比ds4 不链接 GGML但 acknowledges llama.cpp 的开创性工作维度llama.cpp llama-serverDwarfStar 4定位通用推理引擎支持 100 模型单模型深度优化KV 磁盘缓存基础支持一等等民持久化 精确回复模型支持广泛仅 DeepSeek V4 Flash量化策略统一量化非对称 expert 精确量化Agent 集成通用 API原生 Claude Code / 工具调用支持项目风格社区化个人主导 GPT 辅助八、适用场景本地 AI 编程助手— 取代云 API在 MacBook 上跑 Claude Code / Codex隐私敏感场景— 代码不离开本地适合企业内网离线开发环境— 无网络时仍可使用 AI 辅助研究与实验— 测试量化策略、KV 缓存机制、MoE 路由行为学习推理引擎实现— antirez 的代码风格清晰适合学习九、局限性与注意事项Alpha 质量— 项目仅存在几周稳定性有待验证硬件门槛高— 最低 96GB RAMq2推荐 128GB仅一个模型— 不支持其他模型包括未来的 DSV4 更新版需要适配macOS CPU 路径有内核 Bug— Apple 的虚拟内存实现问题会导致内核崩溃GGUF 文件需要特定格式— 不是通用 GGUF loader必须使用项目提供的量化文件十、总结DwarfStar 4 的出现标志着本地大模型推理进入了一个新阶段。Redis 之父 antirez 用他一贯的极简主义风格打造了一个极度专注、性能出色的专用推理引擎。对于 Mac 开发者来说这意味着可以在本地运行一个 284B 参数的思考模型速度达到 26 tok/s配合 1M 上下文窗口和磁盘 KV 缓存体验接近云端 API。GitHub: https://github.com/antirez/ds4License: MIT如果你也对本地 AI 推理和 Agent 开发感兴趣欢迎关注我的博客 zidongai.com.cn持续分享 AI 开发工具和实践心得。