Qwen3.6-35B-A3B 发布不到24小时，FlagOS 七芯护航已就位

阿里通义团队开源最新的多模态“智能体小钢炮”Qwen3.6-35B-A3B大模型不到24小时众智 FlagOS 社区就交出了一份“Day0 全量适配多芯片”的成绩单。目前Qwen3.6-35B-A3B 已在平头哥、华为、海光、沐曦、昆仑芯、天数、英伟达等多种 AI芯片上完成基于众智FlagOS统一、开源技术栈的多芯适配、精度对齐与部署验证开发者可直接获取对应芯片的开箱即用方案。Qwen3.6-35B-A3B 是一个完全开源的稀疏 MoE 模型总参数 35B / 激活参数 3B在智能体编程方面表现卓越大幅超越前代 Qwen3.5-35B-A3B并可与 Qwen3.5-27B、Gemma4-31B 等稠密模型一较高下。主要特性包括卓越的智能体编程能力可与大得多的模型相媲美强大的多模态感知与推理能力本次Qwen3.5升级到Qwen3.6模型结构等并没有明显变化。由于此前FlagOS已经适配过英伟达、平头哥、海光、沐曦、天数等五款芯片所以本次适配更多的是针对昆仑芯、华为这两款新增芯片完成并针对新的模型权重重新进行一致性测试。基于FlagOS建立的从编译器、算子库、多芯片框架统一plugin等技术FlagOS团队可以快速完成模型适配、跨芯迁移验证、精度对齐评测、开源版本发布等重要步骤。一、开发者速用指南Qwen3.6-35B-A3B 新模型多芯版本一键获取与部署FlagOS 为 Qwen3.6-35B-A3B 新模型提供了统一支持多种 AI 芯片的 vLLM 插件--vLLM-plugin-FL在保证高效推理的同时为用户提供开箱即用的跨芯片 Qwen3.6-35B-A3B 版本。目前在 vLLM-plugin-FL 的支持下平头哥、昆仑芯、天数、海光、华为昇腾、沐曦等多种 AI 芯片已经通过插件方式实现 零代码修改 完成 Qwen3.6-35B-A3B 的推理部署及充分验证。使用源码进行安装部署可参考以下官方一站式开发者文档含详细代码示例与操作指引GitHubhttps://github.com/flagos-ai/vllm-plugin-FL/blob/main/README.mdGitCodehttps://gitcode.com/flagos-ai/vllm-plugin-FL/blob/main/README.md方式一FlagOS安装部署快速安装Plain Text# 1. 安装 vLLM v0.13.0pip install vllm0.13.0# 2. 安装 vllm-plugin-FLgit clone -b v0.1.0 https://github.com/flagos-ai/vllm-plugin-FLcd vllm-plugin-FLpip install --no-build-isolation -e .# 3. 安装 FlagGemsgit clone https://github.com/flagos-ai/FlagGemscd FlagGems git checkout v5.0.0pip install --no-build-isolation -e .# 4. (可选) 安装 FlagCX 统一通信库# 详见 https://github.com/flagos-ai/FlagCX运行推理Plain Textfrom vllm import LLM, SamplingParamsprompts [Hello, my name is]sampling_params SamplingParams(max_tokens10, temperature0.0)llm LLM(modelFlagRelease/Qwen3.6-35B-A3B-nomtp-nvidia-FlagOS,max_num_batched_tokens16384,max_num_seqs2048)outputs llm.generate(prompts, sampling_params)for output in outputs:print(fPrompt: {output.prompt!r})print(fGenerated: {output.outputs[0].text!r})如果环境中存在多个 vLLM 插件可通过环境变量指定Plain Textexport VLLM_PLUGINSfl方式二模型镜像直接下载用户也可以直接拉取在 FlagRelease 上发布的迁移后的模型文件、代码和镜像。以下是迁移适配后的几种 AI 芯片的模型版本开箱即用、无需迁移。魔搭平台芯片模型下载链接英伟达Qwen3.6-35B-A3Bhttps://modelscope.cn/models/FlagRelease/Qwen3.6-35B-A3B-nomtp-nvidia-FlagOS沐曦https://modelscope.cn/models/FlagRelease/Qwen3.6-35B-A3B-nomtp-metax-FlagOS海光https://modelscope.cn/models/FlagRelease/Qwen3.6-35B-A3B-nomtp-hygon-FlagOS平头哥https://modelscope.cn/models/FlagRelease/Qwen3.6-35B-A3B-nomtp-zhenwu-FlagOS昆仑芯https://modelscope.cn/models/FlagRelease/Qwen3.6-35B-A3B-nomtp-kunlunxin-FlagOS华为https://modelscope.cn/models/FlagRelease/Qwen3.6-35B-A3B-nomtp-ascend-FlagOS天数https://modelscope.cn/models/FlagRelease/Qwen3.6-35B-A3B-nomtp-iluvatar-FlagOSHuggingFace 平台芯片模型下载链接英伟达Qwen3.6-35B-A3Bhttps://huggingface.co/FlagRelease/Qwen3.6-35B-A3B-nomtp-nvidia-FlagOS沐曦https://huggingface.co/FlagRelease/Qwen3.6-35B-A3B-nomtp-metax-FlagOS海光https://huggingface.co/FlagRelease/Qwen3.6-35B-A3B-nomtp-hygon-FlagOS平头哥https://huggingface.co/FlagRelease/Qwen3.6-35B-A3B-nomtp-zhenwu-FlagOS昆仑芯https://huggingface.co/FlagRelease/Qwen3.6-35B-A3B-nomtp-kunlunxin-FlagOS华为https://huggingface.co/FlagRelease/Qwen3.6-35B-A3B-nomtp-ascend-FlagOS天数https://huggingface.co/FlagRelease/Qwen3.6-35B-A3B-nomtp-iluvatar-FlagOS二、开发者极致体验发布即多芯 零改码Qwen3.6-35B-A3B 新模型的跨芯适配版本从开发到部署全程围绕开发者友好设计解决了大模型落地过程中多芯片适配复杂、推理框架割裂、精度对齐困难、部署成本高等四大核心痛点让开发者真正实现一次开发多芯运行。1. 零改码适配不改变原有开发与调用习惯无论是模型原有接口、vLLM 推理引擎使用逻辑还是开发者的日常调用代码均无需做任何修改。FlagOS 通过统一vLLM的多芯片插件vLLM-plugin-fl统一实现算子从CUDA到基于Triton语言的FlagGems算子库的替换并实现适配。开发者专注业务开发即可无需重新学习硬件相关开发知识大幅降低迁移与部署门槛。2. 核心能力与原生版本对齐经 GPQA_Diamond、ERQA等权威评测集验证FlagOS 适配后的 Qwen3.6-35B-A3B在 Agentic Coding 能力、复杂推理等核心能力上与 CUDA 原生版本对齐可放心应用于代码生成、日志分析、Bug 排查、复杂文档编辑等生产场景无需担心适配导致业务效果折损。特意说明为了能在统一的实测环节中对齐迁移前后的精度我们对模型的英伟达CUDA版本也进行了重新测试。但由于使用的prompt、过滤规则等并未进行细致优化也不是本次验证的重点所以导致“NV-原生”的实测效果在GPQA_Diamond数据集上略低。所以本测试结果仅用于在同一测试环境下的对齐验证并不代表Qwen模型的官方性能。Qwen 模型的官方性能以 Qwen 官方公布数据为准。评测数据3. 极简部署开箱即用底层优化无感知FlagOS 将核心算子库、编译器等技术组件前置内置到 Qwen3.6-35B-A3B 代码框架中开发者加载官方模型时底层优化代码自动生效无需手动添加任何 FlagOS 初始化代码。同时基于 FlagOS 的大模型跨芯半自动迁移及发版工具 FlagRelease直接提供了多芯片版本的 Qwen3.6-35B-A3B-FlagOS 模型版本无需用户迁移真正实现开箱即用同时标准化 Docker 镜像 一键加速命令解决了开发者最头疼的环境配置、效果对齐、性能优化等问题。三、大模型核心基座FlagOS 四大技术支撑实现 Qwen3.6-35B-A3B 极速跨芯适配Qwen3.6-35B-A3B 新模型能实现发布即多芯并非偶然而是依托众智 FlagOS 打造的统一多芯片 AI 系统软件栈从算子层、编译层、框架层到工具层全链路为大模型跨芯适配提供技术支撑将原本数周的适配周期缩短至数天真正实现极速落地。FlagOS面向多种 AI 芯片的系统软件栈1. 统一多芯片接入插件 vLLM-plugin-FL无缝兼容原生使用习惯vLLM-plugin-FL 是 FlagOS 为 vLLM 推理服务框架打造的专属插件基于 FlagOS 统一多芯片后端开发在完全不改变 vLLM 原生接口与用户使用习惯的前提下实现 Qwen3.6-35B-A3B 的多芯片推理部署。目前 vLLM-plugin-FL 已经支持了英伟达、摩尔线程、海光、沐曦、平头哥真武、天数智芯、昆仑芯、华为等多家芯片。2. 高性能算子库 FlagGems核心算子深度适配释放硬件算力FlagGems 作为 FlagOS 核心的高性能通用大模型算子库基于 Triton 语言实现针对 Qwen3.6-35B-A3B 推理链路的核心算子进行了深度适配与优化包括 MoE 专家调度、Attention 计算、RMSNorm 等关键计算模块同时原生支持 NVIDIA、摩尔线程、沐曦、清微智能、天数等接近 20 家 AI 芯片。3. 统一 AI 编译器 FlagTree一次编写多芯编译FlagTree 是 FlagOS 面向多 AI 芯片后端的统一编译器基于 Triton 深度定制可将 Qwen3.6-35B-A3B 的核心算子编译为英伟达、摩尔线程等十多种不同 AI 芯片后端可识别的指令彻底解决不同芯片编译器生态割裂的问题大幅降低算子跨芯片适配的开发成本。4. 模型跨芯迁移发布工具 FlagRelease半自动实现模型跨芯迁移与版本发布依托 FlagOS 全栈技术能力FlagRelease 已完成 Qwen3.6-35B-A3B 在多种芯片上的模型迁移、精度对齐与版本发布覆盖 HuggingFace、魔搭等开源社区平台。开发者可直接下载使用无需自行迁移。截至本文发布FlagRelease 已发布覆盖 10 家芯片厂商、12 款硬件、70 个开源模型实例的跨芯适配版本。四、开源共建FlagOS 持续做开发者的跨芯适配后盾当下异构算力协同、大模型普惠落地已成为全球开源开发者社区的核心热点打破硬件生态隔离、让大模型在不同算力平台高效低成本运行是无数开发者的核心诉求。FlagOS 从诞生之初就将开源开放、众智共建刻入技术基因始终以开发者为中心通过全栈开源的统一系统软件栈把复杂的M×N硬件适配问题降维为MN做每一位开发者最可靠的跨芯适配后盾。全栈开源无保留把技术主动权交给开发者目前FlagOS 已形成完整的开源技术体系所有核心组件均已开源在 GitHub同时开放了数十款最新的主流基础大模型、十多款 AI 芯片的适配方案与最佳实践开发者可自由获取、深度定制四大核心技术库FlagGems 通用大模型算子库、FlagTree 统一 AI 编译器、FlagScale 训练推理并行框架、FlagCX 统一通信库覆盖算子开发、编译优化、并行计算、跨芯片通信全链路三大开源工具平台FlagRelease 大模型自动迁移发版平台、KernelGen 算子自动生成工具、FlagPerf 多芯片评测工具提供从模型适配、性能评测到工程落地的一站式工具链全场景扩展生态vLLM-plugin-FL、Megatron-LM-FL、TransformerEngine-FL 等框架增强组件以及 FlagOS-Robo 具身智能工具包覆盖大模型训练、推理、应用全场景。多路径参与共建全层级开发者均可入局我们为不同技术方向、不同经验层级的开发者设计了低门槛、多路径的共建方式无论你是 AI 开发新手还是深耕系统软件的资深专家都能在 FlagOS 社区找到自己的位置。新手友好型参与可在对应仓库提交 Issue 反馈 bug、优化建议或是补充完善文档、撰写入门教程与最佳实践也可参与社区技术交流、分享使用经验零门槛开启开源之旅社区文档参考https://docs.flagos.io/en/latest/深度技术共建开发者可直接参与 FlagGems 算子开发与优化新增算子 / 性能调优 / 新芯片后端支持、KernelGen 算子生成流程增强、FlagTree 编译器后端扩展等核心模块与社区核心开发者一起推动技术演进。生态工具贡献开发者可基于 FlagOS Skills 开发面向国产芯片的 AI Agent 专业技能帮助更多开发者通过自然语言完成芯片适配、模型部署等操作。关于众智 FlagOS 社区为解决不同AI芯片大规模落地应用北京智源研究院联合众多科研机构、芯片企业、系统厂商、算法和软件相关单位等国内外机构共同发起并创立了众智FlagOS社区目前已经有78家成员单位。FlagOS是一款专为异构AI芯片打造的开源、统一系统软件栈支持 AI 模型一次开发即可无缝移植至各类硬件平台大幅降低迁移与适配成本。它包括大型算子库、统一AI编译器、并行训推框架、统一通信库等核心开源项目致力于构建「模型-系统-芯片」三层贯通的开放技术生态通过一次开发跨芯迁移释放硬件计算潜力打破不同芯片软件栈之间生态隔离。社区官网https://flagos.ioGitHubhttps://github.com/flagos-aiGitCodehttps://gitcode.com/flagos-aiSkillHubhttps://skillhub.flagos.io