当前位置： 首页 > news >正文

使用 GPT-SoVITS 克隆声音，很详细

news 2025/12/2 21:53:21

使用 GPT-SoVITS 克隆声音，很详细

  • 一、前言
  • 二、下载
  • 三、启动
  • 四、克隆声音
    • 1、准备克隆音频
    • 2、分离人声伴奏
    • 3、音频分割
    • 4、语音降噪
    • 5、ASR工具
    • 6、语音文本校对标注工具
    • 7、训练模型
    • 8、微调训练
    • 9、推理

一、前言

最近对文本转语言很感兴趣，但对直接在网站上生成的音频音色却不是很满意，经过一番寻找，发现了“GPT-SoVITS” ，对想要的声音进行克隆。

二、下载

可以到这里下载

在这里插入图片描述

下载后解压即可

这里将其解压到如下目录：

E:\software\gpt-sovits

在这里插入图片描述

三、启动

进入“安装目录\GPT-SoVITS-v2-240821\GPT-SoVITS-v2-240821”

双击“go-webui.bat”即可
在这里插入图片描述

会出现一个黑窗口

在这里插入图片描述

启动成功会打开浏览器跳转到这个页面

在这里插入图片描述

四、克隆声音

1、准备克隆音频

先准备好想要提起的声音，这里以克隆芭芭拉的声音为例

在这里插入图片描述

可以到这里下载原音频

下载后将其放到某个文件夹中，这里放到

F:\file\GptSovitsFile\sucai\芭芭拉

2、分离人声伴奏

回到“GPT-SoVITS”中，点击开启“UVR5-WebUI”

在这里插入图片描述

稍等一会儿后会跳转到新的页面

在这里插入图片描述

选择模型，一般选择“HP2_all_vocals”即可，也可以阅读上方解释，选择适合自己的模型

模型介绍：

HP2_all vocals：人声伴奏分离模型，提取音频中所有人声部分和背景音部分。HP5_only_main_vocal：提取音频中的主唱人声，排除和声和伴唱，适合处理歌曲。model_bs_roformer_ep_317_sdr_12.9755：去掉混音中的干扰成分，增强信噪比。onnx_dereverb_By_FoxJoy：去混响模型，减少音频中由于环境回声或混响造成的声音模糊。VR-DeEchoAggressive：去回声模型，针对严重的回声进行处理，偏向“激进处理”。VR-DeEchoDeReverb：结合去回声和去混响的双重功能，处理音频中的回声和混响问题。VR-DeEchoNormal：去回声模型，适用于一般程度的回声处理，偏向“温和处理”。

在这里插入图片描述

接着输入存放待分离音频路径，前面已经提到将其放到

F:\file\GptSovitsFile\sucai\芭芭拉

在这里插入图片描述

指定输出主人声文件夹和指定输出非主人声文件夹保持默认即可

在这里插入图片描述

分类之后会保存在“安装目录\GPT-SoVITS-v2-240821\GPT-SoVITS-v2-240821\output\uvr5_opt”

在这里插入图片描述

再选择导出文件格式，这里选择 wav

在这里插入图片描述

最后点击转换

在这里插入图片描述

看到成功的信息表示转换完成

在这里插入图片描述

再查看输出目录 uvr5_opt

在这里插入图片描述

两条音频都试听一下，找出人声音频，因为要克隆声音，伴奏音频没用，这里将其删除了

在这里插入图片描述

这时就可以回到主界面，关闭“UVR5-WebUI”

在这里插入图片描述

3、音频分割

这里主要针对长音频，如果音频本来就不长，就不需要分割了

回到这界面，已知上面分离的音频保存在“安装目录\GPT-SoVITS-v2-240821\GPT-SoVITS-v2-240821\output\uvr5_opt”路径

这里路径为：

E:\software\gpt-sovits\GPT-SoVITS-v2-240821\GPT-SoVITS-v2-240821\output\uvr5_opt

将文件夹路径放到切分输入路径

在这里插入图片描述

点击开启语言切割

在这里插入图片描述

看到输出信息显示“切割结束”表示切割完成

在这里插入图片描述

4、语音降噪

主要是处理有杂音的音频，如果音频干净可不降噪，直接点击“开启语言降噪即可”

在这里插入图片描述

看到降噪输出信息提示降噪完成即可

在这里插入图片描述

完成后可在“output”下生成“denoise_opt”文件夹

在这里插入图片描述

里面就是降噪的音频

在这里插入图片描述

原来的音频就干净，降噪后对比原音频只是小声了点

5、ASR工具

这一步主要是生成带时间戳的文本，如果需要的是中文，默认即可。

点击“开启离线批量ASR”

在这里插入图片描述

看到输出提示完成即可

在这里插入图片描述

生成文件在“asr_opt”文件夹

在这里插入图片描述

在这里插入图片描述

文件内容如下

在这里插入图片描述

6、语音文本校对标注工具

这一步主要是校对文本 ASR 工具生成的文本是否正确，对错误的文本进行修改。

保持默认，点击“开启打标WebUI”即可

在这里插入图片描述

会跳转到一个新的页面

在这里插入图片描述

因为音频比较短，这里只有一段文本如果音频较长，这里是有多段文本的

检查文本框中的文本是否正确，不正确则进行修改，为了防止出错，建议修改一段点一下“Submit Text”

在这里插入图片描述

这里原文本为：

你喜欢麻辣小鱼干吗？我这还有两条，那给你一条。

将其改为：

你喜欢麻辣小鱼干吗？我这还有两条，呐~给你一条。

确认无误之后回到主界面，点击“关闭打标WebUI”

在这里插入图片描述

7、训练模型

承接上面，将主界面拉到最顶部，选择“1-GPT-SoVITS-TTS”

在这里插入图片描述

为你的模型取一个名字，这里取名“bbl”

在这里插入图片描述

其他不用修改，拉到最下面，点击“开启一键三连”

在这里插入图片描述

看到结束的提示即可

在这里插入图片描述

这一步是把你的声音样本转换成项目训练模型支持的特定格式，会在日志文件夹“logs”下生成以前面模型命名的文件夹（bbl）

在这里插入图片描述

里面文件如下

在这里插入图片描述

8、微调训练

承接上面的主界面，网上拉到命名模型那一部分，点击“1B-微调训练”

在这里插入图片描述

参数默认即可，先“开启SoVITS”

在这里插入图片描述

等待训练完成

在这里插入图片描述

因为本次使用的是“v2”版本的“GPT-SoVITS”，生成的模型保存在“安装目录\GPT-SoVITS-v2-240821\GPT-SoVITS-v2-240821\SoVITS_weights_v2”

在这里插入图片描述

模型如下

在这里插入图片描述

为什么是两个模型？（总训练轮数）/（保存频率）

接着点击“开启GPT训练”

在这里插入图片描述

等待训练完成

在这里插入图片描述

因为本次使用的是“v2”版本的“GPT-SoVITS”，生成的模型保存在“安装目录\GPT-SoVITS-v2-240821\GPT-SoVITS-v2-240821\GPT_weights_v2”

在这里插入图片描述

模型如下

在这里插入图片描述

同样，三个模型是因为（总训练轮数）/（保存频率）

9、推理

承接上面的主页面，将其往上拉到命名模型下方，点击“1C-推理”

在这里插入图片描述

选择GPT、SoVITS模型，如果没有看到就点击一下“刷新模型路径”

在这里插入图片描述

选择参数最大的模型，效果最好

在这里插入图片描述

在这里插入图片描述

勾选“启用并推理版本”，再点击“开启TTS推理WebUI”

在这里插入图片描述

会跳转到一个新页面

在这里插入图片描述

这是模型区，如果在主界面忘记选，可以在这里选，一般选择参数最大的，效果最好

在这里插入图片描述

这是推理区，可以将前面处理好的音频拖入，比如前面降噪后的音频

在这里插入图片描述

再加上音频台词，就是对应音频的台词

你喜欢麻辣小鱼干吗？我这还有两条，呐~给你一条。

最后在右边添加需要生成音频的文本，这里是：

从来生死都看淡

在这里插入图片描述

推理设置保持默认即可，点击“合成语音”就会生成对应音频

在这里插入图片描述

最后是文本切分区，如果文本很长，可以先放到左边，点击切分，切分方式保持默认，再将右边切分好的文本放到文本生成音频区域

在这里插入图片描述

相关文章：

使用 GPT-SoVITS 克隆声音，很详细

使用 GPT-SoVITS 克隆声音，很详细 一、前言二、下载三、启动四、克隆声音1、准备克隆音频2、分离人声伴奏3、音频分割4、语音降噪5、ASR工具6、语音文本校对标注工具7、训练模型8、微调训练9、推理 一、前言 最近对文本转语言很感兴趣，但对直接在网站上…...

编程日记 2025/2/16 10:54:27

Flask和Django相比哪个更适合新手？

Flask 与 Django：哪个更适合新手？ 对于新手来说，选择 Flask 还是 Django 主要取决于你的具体需求和项目复杂度。以下是两者的详细对比，帮助你做出选择： 1. Flask 优点 简单易用：Flask 是一个轻量级的微框架，代码简洁，易于理解和上手。适合初学者快速入门。灵活性高：…...

编程日记 2025/2/16 10:50:23

2. 图片性能优化

图片性能优化 图片懒加载 如何判断图片出现在了当前视口 &#xff08;即如何判断我们能够看到图片&#xff09;如何控制图片的加载 原生实现 <img src"shanyue.jpg" loading"lazy" />loading"lazy" 延迟加载图像&#xff0c;直到它和视…...

编程日记 2025/2/16 10:47:19

多模态本地部署和ollama部署Llama-Vision实现视觉问答

文章目录 一、模型介绍二、预期用途1. 视觉问答(VQA)与视觉推理2. 文档视觉问答(DocVQA)3. 图像字幕4. 图像-文本检索5. 视觉接地 三、本地部署1. 下载模型2. 模型大小3. 运行代码 四、ollama部署1. 安装ollama2. 安装 Llama 3.2 Vision 模型3. 运行 Llama 3.2-Vision 五、效果…...

编程日记 2025/2/16 10:42:08

cuML机器学习GPU库

cuML安装官网&#xff1a;Installation Guide - RAPIDS Docs 转载&#xff1a;Linux下cuML库的安装与Jupyter集成调试教程-CSDN博客...

编程日记 2025/2/16 10:40:05

机器学习数学基础：24.随机事件与概率

一、教程目标 本教程致力于帮助零基础或基础薄弱的学习者&#xff0c;全面掌握概率论与数理统计的基础公式&#xff0c;透彻理解核心概念&#xff0c;熟练学会应用解题技巧&#xff0c;最终能够轻松应对期末或考研考试。 二、适用人群 特别适合那些对概率论与数理统计知识了…...

编程日记 2025/2/16 10:32:53

CAS单点登录（第7版）27.开发人员

如有疑问&#xff0c;请看视频&#xff1a;CAS单点登录&#xff08;第7版&#xff09; 开发人员 Javadocs文档 group org.apereo.cas has published 42 artifact(s) with total 8210 version(s) org.apereo.cas org apereo.cas 小组已出版 42 件作品&#xff0c;共 8210 个版…...

编程日记 2025/2/16 10:31:52

DeepSeek+即梦 做AI视频

DeepSeek做AI视频 制作流程第一步&#xff1a;DeepSeek 生成视频脚本和分镜 第二步&#xff1a;生成分镜图片绘画提示词第三步&#xff1a;生成分镜图片第四步&#xff1a;使用可灵 AI 工具&#xff0c;将生成的图片转成视频。第五步&#xff1a;剪映成短视频 DeepSeek 真的强&…...

编程日记 2025/2/16 10:30:48

OpenMetadata 获取 MySQL 数据库表血缘关系详解

概述 OpenMetadata 是一个开源的元数据管理平台，支持端到端的血缘关系追踪。对于 MySQL 数据库，OpenMetadata 通过解析表的外键约束、视图定义及查询日志（可选）构建表级血缘。本文结合源码分析其实现机制。 环境配置与数据摄取 1. 配置文件示例（YAML） source:type: my…...

编程日记 2025/2/16 10:27:40

计算机组成原理—— 总线系统（十二）

不要害怕失败&#xff0c;因为每一次跌倒都是站起来的前奏&#xff1b;不要畏惧未知&#xff0c;因为在探索的过程中你会发现未曾预见的美好。你的每一步努力都在为未来的成功铺路&#xff0c;即使现在看不到成果&#xff0c;但请相信积累的力量。那些看似平凡的努力&#xff0…...

编程日记 2025/2/16 10:25:36

详解如何使用Pytest内置Fixture tmp_path 管理临时文件

关注开源优测不迷路 大数据测试过程、策略及挑战 测试框架原理&#xff0c;构建成功的基石 在自动化测试工作之前&#xff0c;你应该知道的10条建议 在自动化测试中&#xff0c;重要的不是工具 临时目录在测试中起着至关重要的作用&#xff0c;它为执行和验证代码提供了一个可控…...

编程日记 2025/2/16 10:24:34

Banana Pi OpenWRT One 官方路由器的第一印象

OpenWRT One是OpenWRT开源社区推出的首款官方开发板&#xff0c;与Banana Pi社区共同设计&#xff0c;由Banana Pi制造和发行。路由器采用蓝色铝合金外壳&#xff0c;质感极佳&#xff0c;视觉效果远超宣传图。整体设计简洁&#xff0c;呈长方形&#xff0c;虽然不是特别时尚&a…...

编程日记 2025/2/16 10:20:24

Golang GORM系列：GORM事务及错误处理

在数据库管理领域&#xff0c;确保数据完整性至关重要。GORM是健壮的Go对象关系映射库&#xff0c;它为开发人员提供了维护数据一致性和优雅地处理错误的基本工具。本文是掌握GORM事务和错误处理的全面指南。我们将深入研究如何使用事务来保证原子性&#xff0c;并探索有效处理…...

编程日记 2025/2/16 10:19:21

NLLB 与 ChatGPT 双向优化：探索翻译模型与语言模型在小语种应用的融合策略

作者&#xff1a;来自 vivo 互联网算法团队- Huang Minghui 本文探讨了 NLLB 翻译模型与 ChatGPT 在小语种应用中的双向优化策略。首先介绍了 NLLB-200 的背景、数据、分词器和模型&#xff0c;以及其与 LLM&#xff08;Large Language Model&#xff09;的异同和协同关系。接着…...

编程日记 2025/2/16 10:16:16

ASP.NET Core SixLabors.ImageSharp v1.0 的图像实用程序类 web示例

这个小型实用程序库需要将 NuGet SixLabors.ImageSharp包&#xff08;版本 1.0.4&#xff09;添加到.NET Core 3.1/ .NET 6 / .NET 8项目中。它与Windows、Linux和 MacOS兼容。 这已针对 ImageSharp v3.0.1 进行了重新设计。 它可以根据百万像素数或长度乘以宽度来调整图像大…...

编程日记 2025/2/16 10:13:12

ffmpeg configure 研究1-命令行参数的分析

author: hjjdebug date: 2025年 02月 14日 星期五 17:16:12 CST description: ffmpeg configure 研究1 ./configure 命令行参数的分析 文章目录 1 configure 对命令行参数的分析,在4019行1.1 函数名称: is_in1.2. 函数名称: enable1.3. 函数名称: set_all 2 执行退出判断的关键…...

编程日记 2025/2/16 10:12:10

数据结构与算法之排序算法-归并排序

排序算法是数据结构与算法中最基本的算法之一&#xff0c;其作用就是将一些可以比较大小的数据进行有规律的排序&#xff0c;而想要实现这种排序就拥有很多种方法~ 那么我将通过几篇文章&#xff0c;将排序算法中各种算法细化的&#xff0c;详尽的为大家呈现出来&#xff1a; …...

编程日记 2025/2/16 10:11:08

高血压危险因素分析（项目分享）

高血压危险因素分析&#xff08;项目分享&#xff09; 高血压作为一种极为常见的慢性疾病&#xff0c;正严重威胁着大众健康。它的发病机制较为复杂&#xff0c;涉及多个方面的因素。 在一份临床采集的数据的基础上&#xff0c;我们通过数据分析手段深入观察一下 BMI&#xf…...

编程日记 2025/2/16 10:10:04

java集合框架之Map系列

前言 首先从最常用的HashMap开始。HashMap是基于哈希表实现的&#xff0c;使用数组和链表&#xff08;或红黑树&#xff09;的结构。在Java 8之后&#xff0c;当链表长度超过阈值时会转换为红黑树&#xff0c;以提高查询效率。哈希冲突通过链地址法解决。需要明确的是&#xff…...

编程日记 2025/2/16 10:08:02

android设置添加设备QR码信息

摘要&#xff1a;客户衍生需求&#xff0c;通过扫QR码快速获取设备基础信息&#xff0c;并且基于POS SDK进行打印。 1. 定位至device info的xml添加相关perference Index: vendor/mediatek/proprietary/packages/apps/MtkSettings/res/xml/my_device_info.xml--- vendor/medi…...

编程日记 2025/2/16 10:03:50

linux之kylin系统nginx的安装

一、nginx的作用 1.可做高性能的web服务器 直接处理静态资源&#xff08;HTML/CSS/图片等&#xff09;&#xff0c;响应速度远超传统服务器类似apache支持高并发连接 2.反向代理服务器 隐藏后端服务器IP地址&#xff0c;提高安全性 3.负载均衡服务器 支持多种策略分发流量…...

编程新知 2025/11/26 0:44:36

中南大学无人机智能体的全面评估！BEDI：用于评估无人机上具身智能体的综合性基准测试

作者&#xff1a;Mingning Guo, Mengwei Wu, Jiarun He, Shaoxian Li, Haifeng Li, Chao Tao单位&#xff1a;中南大学地球科学与信息物理学院论文标题&#xff1a;BEDI: A Comprehensive Benchmark for Evaluating Embodied Agents on UAVs论文链接&#xff1a;https://arxiv.…...

编程新知 2025/12/2 2:09:05

3.3.1_1 检错编码（奇偶校验码）

从这节课开始&#xff0c;我们会探讨数据链路层的差错控制功能&#xff0c;差错控制功能的主要目标是要发现并且解决一个帧内部的位错误&#xff0c;我们需要使用特殊的编码技术去发现帧内部的位错误&#xff0c;当我们发现位错误之后&#xff0c;通常来说有两种解决方案。第一…...

编程新知 2025/11/27 10:51:52

【位运算】消失的两个数字（hard）

消失的两个数字&#xff08;hard&#xff09; 题⽬描述&#xff1a;解法&#xff08;位运算&#xff09;&#xff1a;Java 算法代码&#xff1a;更简便代码 题⽬链接&#xff1a;⾯试题 17.19. 消失的两个数字 题⽬描述&#xff1a; 给定⼀个数组&#xff0c;包含从 1 到 N 所有…...

编程新知 2025/11/15 16:18:24

TRS收益互换：跨境资本流动的金融创新工具与系统化解决方案

一、TRS收益互换的本质与业务逻辑 &#xff08;一&#xff09;概念解析 TRS&#xff08;Total Return Swap&#xff09;收益互换是一种金融衍生工具&#xff0c;指交易双方约定在未来一定期限内&#xff0c;基于特定资产或指数的表现进行现金流交换的协议。其核心特征包括&am…...

编程新知 2025/11/2 0:31:23

mysql已经安装，但是通过rpm -q 没有找mysql相关的已安装包

文章目录 现象&#xff1a;mysql已经安装&#xff0c;但是通过rpm -q 没有找mysql相关的已安装包遇到 rpm 命令找不到已经安装的 MySQL 包时&#xff0c;可能是因为以下几个原因&#xff1a;1.MySQL 不是通过 RPM 包安装的2.RPM 数据库损坏3.使用了不同的包名或路径4.使用其他包…...

编程新知 2025/11/26 5:17:02

Mac下Android Studio扫描根目录卡死问题记录

环境信息 操作系统: macOS 15.5 (Apple M2芯片)Android Studio版本: Meerkat Feature Drop | 2024.3.2 Patch 1 (Build #AI-243.26053.27.2432.13536105, 2025年5月22日构建) 问题现象 在项目开发过程中&#xff0c;提示一个依赖外部头文件的cpp源文件需要同步&#xff0c;点…...

编程新知 2025/11/18 8:57:12

论文笔记——相干体技术在裂缝预测中的应用研究

目录 相关地震知识补充地震数据的认识地震几何属性 相干体算法定义基本原理第一代相干体技术&#xff1a;基于互相关的相干体技术&#xff08;Correlation&#xff09;第二代相干体技术&#xff1a;基于相似的相干体技术&#xff08;Semblance&#xff09;基于多道相似的相干体…...

编程新知 2025/11/26 1:14:53

JVM 内存结构 详解

内存结构 运行时数据区&#xff1a; Java虚拟机在运行Java程序过程中管理的内存区域。 程序计数器&#xff1a; ​ 线程私有&#xff0c;程序控制流的指示器&#xff0c;分支、循环、跳转、异常处理、线程恢复等基础功能都依赖这个计数器完成。 ​ 每个线程都有一个程序计数…...

编程新知 2025/11/25 21:21:47

PAN/FPN

import torch import torch.nn as nn import torch.nn.functional as F import mathclass LowResQueryHighResKVAttention(nn.Module):"""方案 1: 低分辨率特征 (Query) 查询高分辨率特征 (Key, Value).输出分辨率与低分辨率输入相同。"""def __…...

编程新知 2025/10/20 4:39:36