《昇思25天学习打卡营第14天 | 昇思MindSpore基于MindNLP+MusicGen生成自己的个性化音乐》

14天

本节学了基于MindNLP+MusicGen生成自己的个性化音乐。
MusicGen是来自Meta AI的Jade Copet等人提出的基于单个语言模型的音乐生成模型，能够根据文本描述或音频提示生成高质量的音乐样本。
MusicGen模型基于Transformer结构，可以分解为三个不同的阶段:
1.用户输入的文本描述作为输入传递给一个固定的文本编码器模型，以获得一系列隐形状态表示。
2.训练MusicGen解码器来预测离散的隐形状态音频token。
3.对这些音频token使用音频压缩模型（如EnCodec）进行解码，以恢复音频波形。
通过以下步骤生成了自己的个性化音乐
1.下载模型
2.生成音乐
2.1无提示生成
2.2文本提示生成
3.生成配置

通过MindNLP+MusicGen及关键词生成需要的音乐。