我们如何教AI听懂一首歌的“好”？——ICASSP 2026音乐美学评估竞赛方案解读

一、技术解读最近AI生成音乐如Suno, Udio的爆发让我们惊叹于机器的创造力。但一个随之而来的问题是我们如何客观地评价一首AI生成的歌是不是真的“好听”传统的音频指标对此无能为力。信噪比、频谱失真度这些数字衡量不了旋律的动人、结构的精巧或人声的感染力。这就像用尺子去丈量一幅画的情感深度——工具完全不对路。为此ICASSP 2026 自动歌曲美学评估挑战赛SongEval Challenge应运而生。它的目标很明确开发一个能像人类一样对歌曲的“美感”进行量化评估的人工智能系统。我们团队参与了这项挑战并提出了一个名为“多流音乐Transformer”的模型。该模型在比赛的细粒度美学维度预测赛道Track 2中获得了第二名。1 挑战的核心两个赛道一个共同的核心维度比赛设置了两个并行的评测赛道从不同粒度评估歌曲美学赛道一整体评估预测1个“整体音乐性”分数。这是一个高度概括的任务要求模型直接给出对歌曲艺术品质的总体印象分。赛道二细项评估预测5个细分的美学维度分数。这五个维度是整体音乐性、连贯性、自然度、清晰度、记忆点。一个优秀的模型需要既能精准地把握这个“总体印象”又能理解它如何从“连贯性”、“记忆点”等其他四个具体维度中衍生出来。这要求模型具备强大的特征解耦与融合能力。2 我们的解决方案三段式“音乐品鉴AI”我们设计的系统模拟了一个专业的音乐品鉴流程分为三个阶段第一阶段组建“专家评审团”多流特征提取我们不再让模型从原始的音频波形中从头学起而是为它配备了一个顶尖的“外部专家顾问团”。我们整合了六个在各自领域表现卓越的预训练模型分别从不同角度“聆听”歌曲MuQ理解音色、和声与长期音乐语义的“作曲家”。SongFormer分析歌曲结构主歌、副歌、桥段的“结构分析师”。MuQ-MuLan感知歌曲整体情感与风格的“乐评人”。节拍检测模型把握节奏与强拍脉搏的“节奏大师”。人声音高与Whisper模型专注于人声旋律轮廓和演唱细节的“声乐教练”。这个“评审团”确保了我们能从各个专业维度获取最丰富的音乐信息。第二阶段召开“专项研讨会”维度特定精炼拿到了所有专家的意见后在进入最终合议前我们会针对不同的评分维度召开小型的“专项研讨会”。当要评估连贯性时我们会主要邀请结构分析师SongFormer和作曲家MuQ一起讨论看音乐的发展是否逻辑自洽。当要评估自然度时我们会请声乐教练人声Whisper和专注于纯人声的作曲家来重点研判演唱的呼吸与乐句。当要评估记忆点时我们则会从所有意见中敏锐地捕捉那些重复出现的、抓耳的旋律动机。当要评估整体音乐性无论是作为赛道一的目标还是赛道二的维度之一时则需要综合所有专家的意见进行全局权衡。这个步骤通过轻量级的网络模块实现让模型学会为不同任务“聚焦”不同的特征组合。第三阶段终审与评分控制条件Transformer最后所有经过聚焦处理的信息会送入一个轻量级的Transformer“决策中枢”。这里有一个精妙的设计我们向这个中枢注入一个代表当前评估维度如“正在评估记忆点”的条件信号。这个信号就像一个开关能轻微地调整神经网络内部的行为使其化身为该领域的“终极专家”。最终模型会通过一个“注意力”机制自主决定歌曲中哪些段落对当前维度的评分最关键比如副歌部分对“记忆点”打分权重更高然后给出1-5的分数。整个过程实现了底层特征共享高效与高层决策特异精准的完美结合。三、 效果如何我们在官方测试集上进行了验证。下图为我们的模型在赛道二预测五个维度上与官方基线模型的对比。可以看到我们的模型在绝大多数指标上全面超越了基线。尤其在衡量排名一致性的SRCC上五个维度的平均分从0.655提升到了0.713这意味着我们的AI打分与人类打分的“审美排序”达到了更高的一致性。在“音乐性”和“记忆点”这两个核心维度上提升最为显著。四、 不止于竞赛AIGC时代的“质量守门员”这项工作不仅仅是为了在竞赛中取得好名次。随着AIGC音乐创作的普及一个能够自动化、可量化、与人类感知对齐的评估器将变得至关重要。它可以作为筛选工具从海量AI生成的音乐中快速筛选出高质量作品。作为优化向导为音乐生成模型提供反馈信号引导其生成更符合人类审美的作品。作为研究平台让我们得以更精细地分析和理解音乐美学的构成要素。我们相信让AI学会“鉴赏”是让AI更好地“创造”的关键一步。二、论文翻译用于多维度自动歌曲美学评估的多流音乐Transformer0 摘要评估全长歌曲的美学质量具有挑战性因为诸如连贯性、乐句和结构等感知属性无法被信号级指标很好地捕捉。我们为ICASSP 2026 SongEval挑战赛[1]提出了一个统一的多流音乐Transformer。该模型集成了来自多个预训练系统的语义、结构、节奏和人声表征通过一个轻量级拼接编码器进行融合并利用一个控制条件Transformer进行维度特定的精炼。在官方测试集上的实验显示出与人类评分的高度一致性并相较于官方基线取得了持续的提升。索引术语—音乐美学评估多流TransformerSongEval1 引言评估歌曲美学需要理解局部声学特征和长期音乐结构元素这些是传统DSP特征难以捕捉的。随着音乐生成模型的发展与感知对齐的自动评估器变得至关重要。SongEval挑战赛[1]要求参赛者从输入波形中预测一个整体音乐性分数和五个感知维度这些维度共享音乐线索但对不同线索的敏感度不同。这激励我们设计一个平衡特征共享和维度特定专业化的框架。我们提出了一种统一的多流音乐Transformer它通过控制条件机制将一个共享的Transformer主干网络[2]适配到每个维度从而实现高效的特征复用和细粒度的专业化。2 任务与数据集SongEval任务是从输入波形中预测一个整体音乐性分数和五个感知维度连贯性、自然度、音乐性、清晰度、记忆点[1]。分数遵循1-5分制评估使用皮尔逊、斯皮尔曼和肯德尔相关系数以及顶级准确率。该数据集包含2,399首歌曲约140小时涵盖多种流派和语言[3]每首歌曲由16名训练有素的标注者评分。3. 模型架构3.1 概述我们的系统包含三个主要模块(1) 多流特征提取(2) 维度特定精炼(3) 以目标维度为条件的Transformer主干网络。图1提供了一个高层概览。所有特征流在时间上对齐并融合成一个统一的表示作为所有下游评估器的共享基础。3.2 多流特征设计我们利用六种预训练表征来编码互补的音乐属性(1)MuQ语义特征最后/中间层[4]1024维嵌入用于音色特征、表达细微差别和长程和声一致性。(2)SongFormer结构嵌入[5]512维特征用于捕捉结构模式段落边界、整体形式。(3)MuQ-MuLan嵌入[4]512维描述符提取与语言对齐的高级音乐语义表示捕捉情感、风格等全局属性而非低层声学或时序细节。*通讯作者(4)节拍/强拍激活[6]2维特征用于评估节奏强度和节拍位置对流畅性评估至关重要。(5)人声MIDI音高[7]原始音高特征捕捉旋律轮廓和音调稳定性。(6)Whisper人声特征[8]高维人声表示用于检测乐句/呼吸。所有特征流被重采样到MuQ的帧率然后通过线性映射投影到1024维以确保维度一致性填充和掩码操作使得能够进行高效的批处理而无需担心时间错位。3.3. 维度特定融合编码器拼接操作保留了每个模态的信息一个线性投影将ZtZ_tZt​压缩到模型维度产生共享的融合表示。每个维度需要对不同的音乐因素敏感。因此我们应用了轻量级的精炼模块连贯性强调语义流和结构流之间的一致性包含平滑操作以减少噪声变化。记忆点突出令人难忘的歌曲中特有的钩子、动机和旋律重复模式。清晰度强化来自SongFormer[5]和MuQ-MuLan[4]的具有分割意识的线索。自然度用仅包含人声的MuQ[4]替换混合源衍生的MuQ并整合Whisper[8]用于呼吸/乐句线索。音乐性直接使用融合后的基础表示受益于所有特征流的多样性。输出是H~t(c)\tilde{H}_{t}^{(c)}H~t(c)​它以维度ccc为条件。3.4 控制条件Transformer我们采用一个紧凑的3层Transformer[2]其包含多头自注意力和位置前馈网络块。为了实现混合专家效果我们将每个Transformer层中的单个前馈网络替换为四个并行的前馈网络以模拟多专家评分。一个可学习的嵌入ece_{c}ec​对目标维度c进行编码并在时间维度上进行广播其中WcW_cWc​是一个小的线性投影Ht′H~t(c)Wcec,H_{t}^{\prime}\tilde{H}_{t}^{(c)}W_{c}e_{c},Ht′​H~t(c)​Wc​ec​,单查询注意力池化将时序信息总结为一个固定大小的向量αtsoftmax(q⊤ht),z∑tαtht,\alpha_{t}softmax(q^{\top}h_{t}),\quad z\sum_{t}\alpha_{t}h_{t},αt​softmax(q⊤ht​),zt∑​αt​ht​,其中hth_{t}ht​是最后一层的隐藏状态q是一个可学习的查询向量。与简单的平均池化相比这允许模型专注于信息特别丰富的片段例如钩子或结构上重要的过渡。最终输出分数通过以下公式限定在1-5范围内y^2tanh⁡(y^raw)3.\hat{y}2\tanh(\hat{y}_{ raw})3.y^​2tanh(y^​raw​)3.4 实验4.1 训练目标与优化模型使用一个多目标损失函数进行训练该函数平衡了回归精度、与人类感知的相关性以及高质量样本的排名LLSmoothL10.15 LPearson0.05 LTTA.\mathcal{L}\mathcal{L}_{SmoothL1}0.15\,\mathcal{L}_{Pearson}0.05\,\mathcal{L}_{ TTA}.LLSmoothL1​0.15LPearson​0.05LTTA​.我们采用了结合LSmoothL1L_{\text{SmoothL1}}LSmoothL1​、LPearsonL_{\text{Pearson}}LPearson​和LTTAL_{\text{TTA}}LTTA​的多目标损失函数。LSmoothL1L_{\text{SmoothL1}}LSmoothL1​确保稳健的分数回归LPearsonL_{Pearson}LPearson​强制感知趋势一致性LTTAL_{TTA}LTTA​提高了面向排名评估时对顶级质量样本的区分能力。我们在四块A100 GPU上使用AdamW优化器学习率1e-4进行训练每一步采样一个维度以促进共享特征学习。数据增强包括音高移位、时间拉伸、人声/伴奏分离、声音转换和90秒随机裁剪而在微调阶段则移除增强以匹配评估条件。4.2 结果我们参加了ICASSP 2026自动歌曲美学评估挑战赛赛道2[1]我们的方法在大多数核心评估指标上超越了基线见表1并在此赛道中获得了第二名。结构清晰度和连贯性显示出最大的相对增益突显了SongFormer[5]和MuQ[4]融合的贡献。5 结论我们提出了一种用于多维度歌曲美学评估的统一多流Transformer它利用了多样化的预训练特征、维度感知的精炼和一个紧凑的控制条件Transformer[2]。在ASAE[1]上的实验显示相对于官方基线取得了持续的改进。未来的工作将探索歌词感知评估、跨模态条件化以及与音乐生成模型的联合预训练。