（2025|ICLR，音频 LLM，蒸馏/ALLD，跨模态学习，语音质量评估，MOS）音频 LLM 可作为描述性语音质量评估器

Audio Large Language Models Can Be Descriptive Speech Quality Evaluators

目录

1. 概述

2. 研究背景与动机

3. 方法

3.1 语音质量评估数据集

3.2 ALLD 对齐策略

4. 实验结果分析

4.1 MOS 评分预测（数值评估）

4.2 迁移能力（在不同语音领域测试）

4.3 语音 A/B 测试（偏好评估）

4.4 BLEU 分数（描述生成质量）

5. 结论

---

1. 概述

该论文研究了 音频大语言模型（Audio LLMs） 在语音质量评估中的应用，并提出了一种新的对齐方法 ALLD（Alignment with LLM Distillation） 来增强模型的语音质量感知能力。

研究团队构建了 首个基于自然语言的语音质量评估数据集，包含多维度分析和 A/B 测试数据，旨在帮助 Audio LLMs 进行类似人类的语音质量分析。

实验表明，ALLD 方法在 均方误差（MSE）、A/B 测试准确率 和 BLEU 分数 等指标上超越了 SOTA（最先进）模型，提升了音频 LLM 在多模态任务中的实用性。

研究贡献：

• 首次构建基于自然语言的语音质量评估数据集，提供比 MOS 数值更详细的语音质量描述。
• 提出 ALLD 方法，通过 LLM 知识蒸馏 让 Audio LLM 具备人类级别的语音质量评估能力。
• 超越传统 MOS 预测模型，不仅提升预测准确率，还能生成高质量的语音质量描述。
• 验证了 Audio LLMs 在多模态任务中的潜力，为未来 自适应音频智能体 研究奠定基础。

2. 研究背景与动机

现有 Audio LLMs 的局限：

• 主要专注于 语音内容解析（如语音识别、翻译、问答），但 忽略了语音信号质量（如噪声、失真、连贯性）。
• 传统 LLMs 无法感知音频输入质量，因为 语音质量评估任务未被纳入多任务训练。

语音质量评估的重要性： 

• 在语音通信、文本转语音（TTS）、语音编辑等应用中，语音质量是关键指标。
• 现有评估方法基于 均值主观评分（MOS），但仅提供 数值评分，无法解释 导致评分的因素。

研究目标：让 Audio LLMs 像人类一样 进行语音质量评估，提供 自然语言描述和解释。 

3. 方法

3.1 语音质量评估数据集

研究团队构建了 首个基于自然语言的语音质量评估数据集，包含：

• 多维度分析（噪声、颜色化、连贯性、响度）+ 整体 MOS 评分。
• A/B 测试（对比两个语音样本，生成偏好判断）。
• 综合评价示例（LLM 生成的质量描述，如：“该语音略有失真，无背景噪声，但存在明显的不连贯性，MOS 评分 2.4”）。

3.2 ALLD 对齐策略

ALLD（Alignment with LLM Distillation） 采用 LLM 知识蒸馏 来优化 Audio LLM 的语音质量感知能力。核心流程：

• 音频 LLM 处理原始音频，生成质量描述。
• 专家 LLM 作为参考模型，提供基于元信息的 “优选答案”。
• ALLD 通过 token 级蒸馏对齐 Audio LLM 输出，使其向专家 LLM 生成的描述靠拢。
• 优化目标 结合 偏好优化算法（DPO），最大化高质量输出的概率，同时最小化 Audio LLM 与专家 LLM 之间的 KL 散度。

4. 实验结果分析

4.1 MOS 评分预测（数值评估）

ALLD 方法在 MOS 预测任务 上取得 最佳均方误差（MSE = 0.17），比传统回归模型 CNN-SA-AP（MSE = 0.23）更精确。

在 Spearman 相关系数（SRCC）和线性相关系数（LCC） 上，ALLD 也优于传统方法，证明其泛化能力更强。

4.2 迁移能力（在不同语音领域测试）

在不同领域（如手机录音、法医语音）测试时，ALLD 依然保持高精度，说明其泛化能力优秀。

BLEU 分数在多个测试集上均有所提升，表明 ALLD 增强了 Audio LLM 的语言能力。

4.3 语音 A/B 测试（偏好评估）

ALLD 的 A/B 测试准确率达到 98.6%，比单独使用 MOS 训练的模型（95.6%）更精准。

证明 ALLD 方法不仅能预测 MOS，还能进行高质量的语音对比分析。

4.4 BLEU 分数（描述生成质量）

ALLD 在BLEU 评分（文本描述质量指标）上达到 25.8，远超基线模型（23.4）。

说明 ALLD 生成的语音质量描述更加自然、精准、富有信息。

5. 结论

本文提出 ALLD 方法，首次让 Audio LLMs 具备类似人类的语音质量感知能力。通过 数据集构建 + LLM 蒸馏训练，ALLD 在 MOS 预测、A/B 测试、描述生成 三大任务上超越 SOTA 模型，提升了 音频 LLM 的多模态理解能力。这项研究为 AI 语音质量评估、文本转语音（TTS）、语音编辑等应用 提供了新的方向，推动了真正感知和理解音频信号的智能系统 发展。

未来研究方向：

• 更细粒度的语音质量分析：目前 MOS 评估以句子级为主，未来可扩展至单词级或音素级评估。
• 无监督语音质量评估：探索零样本或少样本学习，减少对大规模标注数据的依赖。
• 自适应 Audio LLMs：让模型在处理不同音频任务时自动适应质量评估需求，实现端到端智能音频分析。

论文地址：https://www.arxiv.org/abs/2501.17202

进 Q 学术交流群：922230617