CosyVoice模型微调全流程实录：使用自定义数据集训练专属音色

CosyVoice模型微调全流程实录使用自定义数据集训练专属音色想不想让你的AI助手、有声书旁白或者视频配音用上你自己的声音或者你想为某个特定的角色比如一个虚拟偶像定制一个独一无二的音色过去这听起来像是大公司的专利需要海量数据和复杂的工程。但现在借助像CosyVoice这样的开源语音合成模型我们自己动手也能实现。今天我就来完整记录一次CosyVoice模型微调的全过程。我会用大约1小时自己录制的声音作为素材带你一步步走完数据准备、处理、训练和效果对比的每一个环节。整个过程就像一次有趣的实验最终的目标是得到一个高度模仿我本人音色的语音合成模型。无论你是开发者、内容创作者还是对AI语音好奇的爱好者这篇实录都能给你一个清晰、可操作的参考。1. 实验目标与前期准备在开始动手之前我们先明确两件事这次微调具体要做什么以及需要准备好哪些“工具”和“原料”。简单来说模型微调就是在别人已经训练好的、能力很强的通用模型基础上用我们自己的特定数据比如我的声音对它进行“再教育”。这样模型既能保留原有的强大语音合成能力比如流畅度、自然度又能学会我们提供的独特音色特征。CosyVoice本身是一个效果不错的开源语音模型我们的任务就是让它“学会”我的声音。为了完成这个任务我们需要准备好以下环境硬件有一张显存大一点的显卡会快很多。我这次用的是RTX 409024GB显存基本够用。如果用CPU训练也不是不行但时间会非常漫长。软件环境Python推荐3.8到3.10的版本。PyTorch根据你的CUDA版本安装对应的PyTorch。CosyVoice代码库从GitHub上把CosyVoice的官方仓库克隆到本地。必要的依赖包按照项目requirements.txt文件安装即可通常包括numpy,scipy,librosa,soundfile等音频处理库。“原料”——声音数据这是最关键的部分。我需要准备一份高质量的、纯净的我自己说话的声音录音。2. 数据准备录制与整理专属音频数据质量直接决定了微调效果的“天花板”。这里的目标是录制大约1小时纯净、清晰的语音。2.1 录制设置与内容规划我选择在晚上安静的书房里进行录制关闭了空调和任何可能产生噪音的设备。使用的设备是一支USB电容麦克风直接连接电脑。为了让模型学习到音色在不同语境下的表现如不同的情绪、语调、语速我并没有只读一种类型的文本。我准备了以下几类内容每类录制10-15分钟新闻稿语气平稳、客观发音清晰。故事片段带有一些情感起伏和角色感。科技博客文章包含一些专业术语测试模型对复杂词汇的音色保持。日常对话模拟比如自我介绍、描述一个物品语气更随意、自然。录音时我注意保持嘴与麦克风的距离恒定避免喷麦和过大的呼吸声。每段录音之间稍有停顿方便后续切割。最终得到的原始音频是一个长约70分钟的单文件格式为WAV采样率44.1kHz单声道。2.2 音频预处理与切割原始的长音频需要被切割成一个个短句片段通常每句5-15秒为宜这样便于模型学习和数据加载。我使用了开源的音频处理工具Audacity进行初步的降噪去除一些底噪和手动切割。切割的原则是一个完整的语义句作为一段。比如“今天天气真好”是一段“我们接下来要介绍的是模型的原理”是另一段。切割后我得到了大约400个独立的.wav文件。每个文件以序号命名例如001.wav,002.wav。我把它们全部放入一个名为raw_audio的文件夹。3. 数据标注让模型知道“说了什么”模型需要知道每段音频对应的文字内容是什么这个过程就是标注。我们需要为每一个.wav文件生成一个对应的文本文件。3.1 自动语音识别ASR转写手动听写400句话太耗时了。我选择使用一个现成的语音识别服务来帮我完成初稿。这里可以使用像WhisperOpenAI的开源模型这样的工具它识别准确率很高。我写了一个简单的Python脚本调用Whisper模型批量处理raw_audio文件夹里的所有文件import whisper import os model whisper.load_model(medium) # 使用medium模型在精度和速度间平衡 audio_dir ./raw_audio text_dir ./raw_text os.makedirs(text_dir, exist_okTrue) for file in os.listdir(audio_dir): if file.endswith(.wav): audio_path os.path.join(audio_dir, file) result model.transcribe(audio_path, languagezh) text result[text].strip() text_file_name os.path.splitext(file)[0] .txt text_file_path os.path.join(text_dir, text_file_name) with open(text_file_path, w, encodingutf-8) as f: f.write(text) print(fTranscribed {file} - {text})运行这个脚本后我在raw_text文件夹里得到了400个.txt文件里面是识别出的文字。3.2 文本校对与清洗ASR的转写并非100%准确尤其是对于专业术语或含混的发音。所以手动校对是必不可少且极其重要的一步。我花了几个小时一边听音频一边核对并修正文本文件。清洗规则包括删除识别错误的字词改为正确文本。去除口语中的冗余词如“呃”、“那个”。确保标点符号基本正确句号、问号、逗号。将所有文本保存为UTF-8编码。校对完成后数据就准备好了。此时我们有两个平行的文件夹wavs存放音频和txts存放对应文本。4. 构建微调数据集CosyVoice等语音合成模型通常有特定的数据格式要求。我们需要创建一个清单文件将音频路径和文本对应起来。4.1 创建清单文件清单文件是一个文本文件例如train.list每一行包含音频文件的路径相对或绝对路径和对应的文本中间用“|”符号分隔。我写了另一个脚本来自动生成这个列表import os wavs_dir ./wavs txts_dir ./txts list_file_path ./filelists/train.list os.makedirs(os.path.dirname(list_file_path), exist_okTrue) with open(list_file_path, w, encodingutf-8) as f_list: for txt_file in os.listdir(txts_dir): if txt_file.endswith(.txt): base_name os.path.splitext(txt_file)[0] wav_path os.path.join(wavs_dir, base_name .wav) txt_path os.path.join(txts_dir, txt_file) if os.path.exists(wav_path): with open(txt_path, r, encodingutf-8) as f_txt: text f_txt.read().strip() # 写入格式音频路径|文本 f_list.write(f{wav_path}|{text}\n) else: print(fWarning: {wav_path} not found, skipping.) print(fTraining list created at {list_file_path})4.2 划分训练集与验证集为了在训练过程中监控模型是否“学得好”而不是死记硬背即过拟合我们需要留出一小部分数据不参与训练只用于验证。我随机抽取了大约5%20条数据用同样的格式创建了一个val.list文件。剩下的380条数据用于train.list。至此我们的数据集就完全准备好了结构如下custom_voice_dataset/ ├── wavs/ │ ├── 001.wav │ ├── 002.wav │ └── ... ├── txts/ │ ├── 001.txt │ ├── 002.txt │ └── ... └── filelists/ ├── train.list └── val.list5. 配置与启动微调训练这是最核心的步骤我们需要修改CosyVoice的训练配置文件然后启动它。5.1 关键训练参数解析在CosyVoice的代码目录里找到配置文件可能是configs/finetune.yaml或类似文件。有几个关键参数需要根据我们的情况调整数据路径将train_filelist_path和valid_filelist_path指向我们刚创建的train.list和val.list。批次大小batch_size根据显卡显存调整。我的24G显存设置batch_size8比较稳妥。如果爆显存就调小这个值。学习率learning_rate微调时学习率通常要设得比从头训练小很多以免“冲毁”预训练模型已经学好的知识。我从1e-5或5e-5这样的小值开始尝试。训练步数max_steps对于1小时的数据训练2000-5000步通常就能看到不错的效果。可以设置max_steps3000。基础模型检查点pretrained_model这是微调的起点必须指向一个下载好的、预训练好的CosyVoice模型文件.pth文件。5.2 启动训练命令配置好后在终端运行训练命令。命令通常如下所示python train.py --config-path ./configs/ --config-name finetune_custom.yaml当你在终端看到类似下面的输出时训练就正式开始了Epoch 1/100, Step 100/3000, Loss: 0.85, LR: 5.00e-5 Validation Loss: 0.82训练过程观察训练损失Train Loss通常会快速下降然后缓慢下降并趋于平稳。验证损失Val Loss这是更重要的指标。理想情况是它随着训练损失一起下降。如果训练损失持续下降但验证损失反而开始上升说明模型可能过拟合了这时可以考虑提前停止训练。我的这次训练在RTX 4090上大约进行了2个小时3000步。训练结束后会在输出目录如output/custom_voice生成最终的模型文件latest_model.pth。6. 效果对比微调前后的音色“变声记”训练完成最激动人心的时刻到了听听效果到底怎么样。我分别用原始的预训练CosyVoice模型和我微调后的模型合成同一段文本然后进行对比。测试文本“大家好我是CosyVoice语音合成模型。经过一段时间的微调训练我现在可以尝试用新的音色为大家播报内容。这是一个关于技术实践的有趣实验。”6.1 原始预训练模型效果使用基础模型合成声音是默认的、偏中性的音色。发音标准流畅自然但听起来就是一个“标准的AI声音”没有个人特征。6.2 微调后模型效果使用我刚训练好的latest_model.pth进行合成。点击播放的瞬间感觉非常奇妙——合成的声音在语调、音色特质上确实能听出和我本人录音的相似之处。虽然还达不到“以假乱真”的程度毕竟只有1小时数据但那种“像”的感觉是明确的。对比原始模型这完全是一个“新声音”。具体听感分析音色相似度明显向我的声音靠拢尤其是在中频段的声音质感上。发音习惯模型似乎捕捉到我的一些轻微口音特点。流畅度保持了预训练模型的高流畅度没有因为微调而变得结巴。差距与不足在情感起伏较大、或者特别强调的句子上合成声音的表现力还是不如真人自然略显平淡。这主要是因为训练数据的情感维度不够丰富。为了更直观我建议你可以尝试用同样的流程录制几分钟自己的声音试试。当听到AI用带有你色彩的声音说话时那种体验是非常独特的。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。