Soul App联合高校共同开源模块SoulX-Duplug，推动语音交互技术升级

近期Soul App AI团队联合上海交通大学X-LANCE Lab与西北工业大学ASLPNPU团队共同开源全双工语音对话控制模块SoulX-Duplug并同步推出评测基准SoulX-Duplug-Eval。该项目围绕实时语音交互中的关键控制问题展开为完善现有语音系统提供了全新的实践路径。当前主流语音对话系统多采用半双工模式运行用户无法在系统回应过程中进行打断系统也难以表达附和或短暂停顿等自然行为。相比之下全双工语音对话系统允许系统在生成回复的同时持续接收用户输入使交互过程更接近人与人之间的自然对话。然而现有全双工方案往往将语言生成与交互控制紧密绑定在同一模型中这种设计虽然简化了结构但也带来了训练难度高、数据依赖强以及系统扩展性受限等问题。在工业实践中常见的做法是通过语音活动检测VAD、语音识别ASR以及轮次检测等模块进行组合但多模块级联也会引入响应延迟与信息割裂等问题。在此背景下Soul App团队的设计SoulX-Duplug能在单一模型框架中同时完成语音活动检测、流式语音识别以及对话状态预测三项任务通过统一建模减少模块之间的信息损耗。在持续音频输入的条件下模型能够实时解析语音内容并动态判断当前对话状态从而支持更加流畅的全双工交互。在具体实现上SoulX-Duplug采用GLM-4-Voice speech tokenizer以12.5Hz的频率提取离散语音token并通过160毫秒的处理窗口进行流式交替生成。Soul App团队的这一设计使模型能够在较低延迟下完成语音识别与状态判断。与此同时系统定义了五类核心状态token包括用户静默、有效语音输入、附和行为、语义完成以及语义未完成等对对话过程中的关键节点进行结构化描述从而提升系统对复杂交互情境的理解能力。在方法设计上SoulX-Duplug引入文本引导的流式状态预测机制。与仅依赖声学特征的传统方法不同该模块通过结合语音识别结果使模型在判断语音活动的同时具备语义理解能力。在训练过程中系统以交替预测的方式生成音频token、识别文本以及状态token使语义信息直接参与对话控制判断。这种方式不仅提升了对用户意图的识别精度也为实现语义感知的语音活动检测提供了技术路径。围绕模型训练与部署SoulX-Duplug采用三阶段训练策略依次完成非流式语音识别预训练、流式场景适配以及对话状态预测微调。在实际推理阶段系统支持接入外部高效语音识别模块从而在保证性能的同时提升部署灵活性。这种“训练与推理解耦”的策略使模块既具备端到端能力又能够适配不同系统架构。在性能验证方面Soul App研究团队基于SoulX-Duplug构建了完整的全双工语音对话系统并在中英文双语的Full-Duplex-Bench基准上进行评测。该评测覆盖轮次切换、停顿处理、用户附和以及用户打断等多种关键场景。实验结果显示系统在整体对话管理能力上表现稳定在响应延迟方面同样具备优势体现出该模块在复杂交互环境中的实用价值。在实际部署条件下SoulX-Duplug作为独立模块的平均延迟约为250毫秒接近其理论延迟240毫秒明显优于传统基于VAD方案约500毫秒的水平也超过部分同类模块约343毫秒的表现。这一结果表明在保证语义理解能力的前提下该方案能够有效控制系统延迟为实时语音交互提供更具可行性的技术路径。通过开源SoulX-Duplug及其评测体系Soul App将全双工语音对话中的关键控制能力进行模块化拆解并以流式状态预测为核心实现路径为行业提供了一种兼顾性能与扩展性的解决方案。