DeepSeek总结的DwarfStar 4：专为 DeepSeek V4 Flash 设计的小型原生推理引擎

来源https://github.com/antirez/ds4DwarfStar 4DwarfStar 4 是一个为 DeepSeek V4 Flash 设计的小型原生推理引擎。它是有意限定了范围的不是通用的 GGUF 运行器不是其他运行时的封装器也不是一个框架。其主要路径是一个针对 DeepSeek V4 Flash 的 Metal 和 CUDA 图执行器并包含了 DS4 特定的加载、提示词渲染、KV 状态和服务器的 API 粘合代码。如果没有 llama.cpp 和 GGML这个项目就不会存在请务必阅读致谢部分非常感谢 Georgi Gerganov 和所有其他的贡献者。现在回到这个项目本身。为什么我们相信 DeepSeek v4 Flash 是一个相当特别的模型值得拥有一个独立的引擎因为经过与强大的小型稠密模型比较我们可以报告如下DeepSeek v4 Flash 由于激活参数更少因此速度更快。在思考模式下如果你避免使用最大思考量它产生的思考部分比其他模型短得多在很多情况下甚至只有其他模型的 1/5而且关键在于思考部分的长度与问题的复杂度成正比。这使得 DeepSeek v4 Flash 可以在启用思考功能的情况下使用而在相同条件下其他模型实际上无法使用。该模型拥有 100 万 token 的上下文窗口。由于规模如此之大当你在知识的边缘进行采样时它会知道更多东西。例如询问意大利节目或政治问题很快就会揭示出 2840 亿个参数远多于 270 亿或 350 亿个参数。它写出更地道的英语和意大利语。感觉就像一个准前沿模型。KV 缓存被高度压缩允许在本地计算机上进行长上下文推理并支持磁盘上的 KV 缓存持久化。如果以一种特殊的方式量化见后文它在 2-bit 量化下也能很好地工作。这使得它可以在配备 128GB 内存的 MacBook 上运行许多人报告说即使在 96GB 内存和 25 万上下文窗口下也能运行。我们预计 DeepSeek 将来会发布 v4 Flash 的更新版本甚至会比当前版本更好。话虽如此关于这个项目有几点重要事项本地推理领域包含许多优秀的项目但新模型不断发布人们的注意力会立刻被下一个需要实现的模型所吸引。这个项目刻意选择了一个狭隘的方向一次只专注于一个模型使用官方向量进行验证进行长上下文测试并进行足够的代理集成以确认其是否真正有效。随着领域的发展具体的模型可能会改变但约束条件保持不变本地推理在高端的个人电脑或 Mac Studio 上可信赖地运行从 96/128GB 内存起步。该软件的开发得到了 GPT 5.5 的大力协助并由人类主导创意、测试和调试。我们公开这一点因为它塑造了项目的构建方式。如果你对 AI 开发的代码不满意那么这个软件不适合你。下面的致谢同样重要如果没有主要由人工编写的 llama.cpp 和 GGML这个项目就不会存在。本实现基于一个理念像 DeepSeek v4 这样的压缩 KV 缓存和现代 MacBook 的快速 SSD 磁盘应该改变我们认为 KV 缓存属于 RAM 的观念。KV 缓存实际上是磁盘的一等公民。我们的愿景是本地推理应该是一组开箱即用、能良好协同工作的三样东西A) 带有 HTTP API 的推理引擎 B) 专为在特定引擎和特定假设下良好运行而特别制作的 GGUF C) 使用编码代理实现进行测试和验证。该推理引擎仅能与所提供的 GGUF 文件一起运行。它会针对在不同上下文大小下官方获得的 logits 进行测试。这个项目的存在是因为我们希望让一个本地模型从头到尾感觉是完整的而不仅仅是可运行的。然而这仅仅是 alpha 质量的代码所以我们可能还没有达到那个目标。优化的图执行路径针对 macOS 上的 Metal 和 Linux 上的 CUDA。CPU 路径仅用于正确性检查和模型/分词器的诊断。对于仅限 CPU 的 Linux 构建请使用make cpu它会构建普通的./ds4和./ds4-server二进制文件不包含 CUDA 或 Metal。在 macOS 上警告当前版本的 macOS 在虚拟内存实现中存在一个错误如果你尝试运行 CPU 代码会导致内核崩溃。还记得吗软件糟透了。无法修复 CPU 推理以避免崩溃因为每次崩溃你都必须重启计算机这不好玩。如果你有胆量请帮助我们。致谢 llama.cpp 和 GGMLds4.c没有链接 GGML但它的存在要感谢 llama.cpp 项目开辟的道路以及在那里开发的 kernels、量化格式、GGUF 生态系统和来之不易的工程知识。我们非常感谢并感激 llama.cpp 及其贡献者。他们的实现、kernels、测试和设计选择在构建这个 DeepSeek V4 Flash 特定推理路径时是必不可少的参考。一些源代码级别的部分在此根据 MIT 许可证被保留或改编GGUF 量化布局和表格、CPU 量化/点积逻辑以及某些 kernels。出于这个原因并且因为我们由衷地感激我们在 LICENSE 文件中保留了 GGML 作者的版权声明。状态代码和 GGUF 文件应被视为 alpha 质量因为推理和模型服务是一件复杂的事情而且所有这些只存在了几天。需要几个月的时间才能达到更稳定的形式。但是我们努力使项目保持在可用状态并且正在取得进展。如果你遇到问题请确保使用--trace来记录会话并在提交 issue 时包含完整的跟踪信息。模型权重此实现仅适用于为此项目发布的 DeepSeek V4 Flash GGUF。它不是通用的 GGUF 加载器任意的 DeepSeek/GGUF 文件将不具备引擎所期望的张量布局、量化组合、元数据或可选的 MTP 状态。这里提供的 2-bit 量化不是玩笑它们表现良好能在编码代理下工作以可靠的方式调用工具。2-bit 量化使用了一种非常不对称的量化方式仅对路由的 MoE 专家进行量化up/gate 使用 IQ2_XXSdown 使用 Q2_K。它们占了模型空间的大部分其他组件共享专家、投影、路由保持不变以保证质量。下载一个主模型。优先选择 imatrix 版本。./download_model.sh q2-imatrix# 适用于 96/128 GB RAM 的机器经 imatrix 调优的 q2./download_model.sh q4-imatrix# 适用于 256 GB RAM 的机器经 imatrix 调优的 q4如果你特别需要较旧的非 imatrix 量化版本旧版 GGUF 文件仍然可用./download_model.sh q2# 适用于 96/128 GB RAM 的机器旧版非 imatrix./download_model.sh q4# 适用于 256 GB RAM 的机器旧版非 imatrix脚本从 https://huggingface.co/antirez/deepseek-v4-gguf 下载将文件存储在./gguf/下使用curl -C -恢复部分下载并更新./ds4flash.gguf以指向所选的 q2-imatrix/q4-imatrix/q2/q4 模型。普通的 q2 XXS 权重仅使用权重重要性向量生成没有 imatrix。imatrix 变体是首选。对于公共下载身份验证是可选的但如果提供了--token TOKEN、HF_TOKEN或使用本地的 Hugging Face token 缓存则会使用它们。./download_model.sh mtp获取可选的推测解码支持 GGUF。它可以与 q2-imatrix、q4-imatrix、q2 和 q4 一起使用但必须通过--mtp显式启用。当前的 MTP/推测解码路径仍是实验性的它受到正确性门控目前最多提供轻微的速度提升而不是显著的生成速度提升。然后构建make./ds4flash.gguf是两个二进制文件使用的默认模型路径。使用-m从./gguf/中选择另一个支持的 GGUF。运行./ds4 --help和./ds4-server --help查看完整的标志列表。速度以下是在--ctx 32768、--nothink、贪婪解码和-n 256下单次运行 Metal CLI 的数据。短提示是一个普通的意大利语小故事提示。长提示用于练习分块预填充和长上下文解码。Q4 需要更大内存的机器类别因此 M3 Max 的 Q4 数据为 N/A。机器量化提示预填充生成MacBook Pro M3 Max, 128 GBq2短58.52 t/s26.68 t/sMacBook Pro M3 Max, 128 GBq211709 tokens250.11 t/s21.47 t/sMacBook Pro M3 Max, 128 GBq4短N/AN/AMacBook Pro M3 Max, 128 GBq4长N/AN/AMac Studio M3 Ultra, 512 GBq2短84.43 t/s36.86 t/sMac Studio M3 Ultra, 512 GBq211709 tokens468.03 t/s27.39 t/sMac Studio M3 Ultra, 512 GBq4短78.95 t/s35.50 t/sMac Studio M3 Ultra, 512 GBq412018 tokens448.82 t/s26.62 t/sDGX Spark GB10, 128 GBq27047 tokens343.81 t/s13.75 t/sM3 Max t/s 图表原文有图此处略基准测试ds4-bench测量在上下文边界处的瞬时预填充和生成吞吐量而不是报告整个运行的平均值。它加载模型一次沿着固定的 token 序列走到边界如 2048、4096、6144并使用增量预填充以便每行仅测量新添加的 token 区间。在每个边界之后它将实时的 KV 状态保存到内存生成一个固定的贪婪非 EOS 探针恢复内存快照然后继续预填充。./ds4-bench\-mds4flash.gguf\--prompt-file bench/promessi_sposi.txt\--ctx-start2048\--ctx-max65536\--step-incr2048\--gen-tokens128示例文件是 Alessandro Manzoni 的《约婚夫妇》I Promessi Sposi的 cleaned 公共领域 Project Gutenberg 文本电子书 #45334去掉了 Gutenberg 的页眉和页脚https://www.gutenberg.org/ebooks/45334。使用--step-incr N来设置不同的线性步长或使用--step-mul F进行指数级扫描。输出为 CSV 格式每个边界一行最新的预填充区间 tokens/秒、该边界处的生成 tokens/秒以及kvcache_bytes。CLI一次性提示./ds4-pExplain Redis streams in one paragraph.不带-p则启动交互式提示符./ds4 ds4交互式 CLI 是一个真正的多轮 DS4 聊天。它会保留渲染的聊天记录和实时的图 KV 检查点因此每一轮都会延续之前的对话。有用的命令包括/help、/think、/think-max、/nothink、/ctx N、/read FILE和/quit。按 CtrlC 可中断当前生成并返回到ds4。CLI 默认为思考模式。使用/nothink或--nothink进行直接回答。--mtp MTP.gguf --mtp-draft 2启用可选的 MTP 推测路径它仅对贪婪解码有用目前使用置信度门控--mtp-margin来避免缓慢的部分接受应被视为一个实验性的轻微加速路径。服务器启动一个本地兼容 OpenAI/Anthropic 的服务器./ds4-server--ctx100000--kv-disk-dir /tmp/ds4-kv --kv-disk-space-mb8192服务器在内存中维护一个可变的后端/KV 检查点因此重新发送相同提示词的长版本的无状态客户端可以重用共享前缀而不是从零开始预填充 token。请求解析和套接字在客户端线程中运行但推理本身通过一个图工作线程进行序列化。当前的服务器不会将多个独立的请求批处理在一起并发的请求在单个活动的图/会话上轮流等待。支持的端点GET /v1/modelsGET /v1/models/deepseek-v4-flashPOST /v1/chat/completionsPOST /v1/completionsPOST /v1/messages/v1/chat/completions接受标准的 OpenAI 风格参数messages、max_tokens/max_completion_tokens、temperature、top_p、top_k、min_p、seed、stream、stream_options.include_usage、tools和tool_choice。工具模式Tool schemas会被渲染成 DeepSeek 的 DSML 工具格式生成的 DSML 工具调用会被映射回 OpenAI 工具调用。/v1/messages是 Anthropic 兼容的端点供 Claude Code 风格的客户端使用。它接受system、messages、tools、tool_choice、max_tokens、temperature、top_p、top_k、stream、stop_sequences和thinking控制参数。工具使用以 Anthropic 的tool_use块形式返回。两个 API 都支持 SSE 流式传输。在思考模式下推理会以原生 API 形状进行流式传输而不是混入最终文本中。OpenAI 聊天流式传输还会在 DSML 调用被识别后立即流式传输工具调用首先发送工具头部然后在生成继续时将参数字节作为tool_calls[].function.arguments的增量进行转发。Anthropic 端点会流式传输实时的思考和文本然后在生成的工具块完成时发出结构化的tool_use块。