CosyVoice /F5-TTS /GPT-SoVITS /Fish-Speech 开源语音克隆与文本转语音（TTS）项目的对比整理

四个主流开源语音克隆与文本转语音（TTS）项目的对比整理，基于公开资料与实测反馈总结：

项目	CosyVoice	F5-TTS	GPT-SoVITS	Fish-Speech
核心技术	双向流式语音合成，支持离线与流式一体化建模	基于流匹配的ConvNeXt文本表示，Sway Sampling采样策略	零样本/少样本语音克隆，结合GPT与SoVITS架构	多语言TTS模型，支持无音素依赖的跨语言合成
克隆效果	音色一致性高（90%+相似度），支持跨语言克隆	音色相似度较高，但存在数字朗读问题	音色相似度优秀（5秒样本即可克隆），但自然度稍弱	音色相似度中等（约50%），需优化噪声问题
多语言支持	中文、英文、日语、韩语、粤语及多种方言（四川话、上海话等）	中英双语	中英日韩粤语	支持中、英、日、韩、法、德、阿拉伯、西班牙等8种语言
情感与风格控制	支持情感指令（如哭腔）、方言口音调整、机器人风格等	无直接情感控制，但支持语调微调	可学习说话人习惯（呼吸声等），情感表现较自然	无显式情感控制，但输出稳定
推理速度	流式延迟低至150ms（首包生成），非流式较慢	实时因子（RTF）0.15，速度最快	推理速度快（5秒样本即时克隆）	速度较慢（需编译优化），实时因子约1:5（RTX 4060）
长文本处理	支持流式分段合成，适合长文本	长文本可能不稳定（偶发“核嗓”问题）	需切分长文本以避免吞字	支持长文本，但生成时间较长
主要优势	流式输出、超低延迟、高音色一致性、方言与情感控制	快速推理、商用友好（MIT许可）、代码切换流畅	零样本克隆速度快、少样本微调灵活	多语言泛化能力强、无需音素依赖
使用场景	实时交互（如语音助手）、多方言/情感需求	高实时性场景（如直播配音）、多语言代码切换	快速克隆定制音色（如个人数字人）	多语言内容生成（如国际播报）
许可证	Apache-2.0（代码与模型）	代码MIT，预训练模型CC-BY-NC	MIT	代码BSD-3-Clause，模型BY-CC-NC-SA-4.0

---

补充说明

1. 稳定性对比：

   • CosyVoice和微软Azure并列稳定性最佳，适合商业应用；

   • F5-TTS在长文本合成中可能出现异常音调，需参数调优；

   • Fish-Speech生成音频可能伴随底噪，需后处理优化。

2. 推荐场景：

   • 实时性优先：F5-TTS > CosyVoice（流式）；

   • 多语言需求：Fish-Speech > CosyVoice；

   • 情感控制：仅CosyVoice支持细粒度指令调整；

   • 快速克隆：GPT-SoVITS（5秒样本） > CosyVoice（3秒样本）。