MusicHiFi: Fast High-Fidelity Stereo Vocoding

MusicHiFi: Fast High-Fidelity Stereo Vocoding

相关链接：arxiv github
关键字：音乐生成、高保真立体声、立体声编解码器、生成对抗网络、频带扩展

摘要

MusicHiFi是一种高效的高保真立体声编解码器，它通过将低分辨率的mel频谱图转换为音频，并通过频带扩展提高音频分辨率，最终通过立体声混音生成立体声音频。与以往的工作相比，MusicHiFi提出了一个统一的基于生成对抗网络（GAN）的生成器和鉴别器架构，以及每个阶段的训练过程。此外，还提出了一种新的快速、与下采样兼容的频带扩展模块，以及一种新的快速、与下混音兼容的单声道到立体声混音器，确保输出中保留单声道内容。通过客观和主观的听力测试评估了该方法，并发现其在音频质量、空间化控制方面具有可比性或更优，并且推理速度显著快于以往的工作。

核心方法

1. 统一的GAN架构：MusicHiFi采用了三个生成对抗网络（GAN）的级联，每个GAN都使用相同的生成器和鉴别器架构，以及训练目标和模型大小。
2. 频带扩展（BWE）：通过在低分辨率音频和高分辨率音频之间添加残差连接，并使用sinc插值块进行上采样，以生成高频内容。
3. 单声道到立体声（M2S）混音：使用中侧（mid-side）立体声编码将单声道音频信号转换为立体声信号，并通过调整中侧能量比来控制空间化宽度。

实验说明

实验使用了1800小时的授权器乐音乐（立体声44.1 kHz）作为内部数据集。对于vocoder，使用16,384个样本的随机裁剪，并应用特定的预处理。对于BWE模块，使用与vocoder相同的预处理，但窗口和跳跃大小减半。对于M2S模块，使用与vocoder相同的STFT设置。训练目标使用了特定的权重，并在500k步后选择了最优的检查点。

实验结果数据

数据集	方法	Mel-D↓	STFT-D↓	ViSQOL↑	SI-SDR↑	RTF↑
DSD100	HiFi-GAN [14]	1.09	0.65	4.47	28.62	3488
FMA	MusicHiFi-V	0.87	0.35	4.67	31.57	1807

结论

MusicHiFi提出了一种新的高效、高保真的立体声编解码方法。该方法通过三个GAN模型的级联，将mel频谱图转换为低质量的音频波形，通过频带扩展将低分辨率音频上采样为高分辨率音频，并最终渲染出高分辨率的立体声音频。与以往的工作相比，MusicHiFi贡献了一个统一的基于GAN的鉴别器和生成器设计，一个新的与下采样兼容的BWE模块，以及一个新颖的保留单声道内容的单声道到立体声模块。通过客观评估和两次主观听力测试，发现MusicHiFi在vocding和BWE结果上具有可比性或更优，并且在空间化宽度控制方面表现更好，效率极高。