当前位置： 首页 > news >正文

【深度学习】CosyVoice，论文

news 2026/3/28 8:38:59

CosyVoice_v1.pdf

文章目录

    • CosyVoice: A Scalable Multilingual Zero-shot Text-to-speech Synthesizer based on Supervised Semantic Tokens
    • 摘要
    • 1 引言
    • 2 CosyVoice: 使用监督语义标记的可扩展TTS模型
      • 2.1 用于语音的监督语义标记
      • 2.2 用于TTS的大型语言模型
      • 2.3 最优传输条件流匹配
        • 2.3.1 零样本上下文学习
      • 2.4 富生成与指令
    • 3 数据集
      • 3.1 小规模单语言数据集
      • 3.2 大规模多语言数据集
    • 4 实验设置
      • 4.1 S3标记器设置
      • 4.2 CosyVoice模型设置
    • 5 实验结果
      • 5.1 对S3标记器的评估
      • 5.2 与基线的比较
      • 5.3 对CosyVoice生成质量的评估
      • 5.4 CosyVoice的情感可控性
      • 5.5 CosyVoice作为数据生成器
    • 6 结论

https://github.com/FunAudioLLM/CosyVoice?tab=readme-ov-file

CosyVoice: A Scalable Multilingual Zero-shot Text-to-speech Synthesizer based on Supervised Semantic Tokens

Zhihao Du, Qian Chen, Shiliang Zhang, Kai Hu, Heng Lu, Yexin Yang, Hangrui Hu, Siqi Zheng, Yue Gu, Ziyang Ma, Zhijie Yan
Speech Lab, Alibaba Group, China
{neo.dzh,sly.zsl,h.lu}@alibaba-inc.com

摘要

近年来，基于大型语言模型（Large Language Model，LLM）的文本到语音（Text-to-Speech，TTS）技术由于其高度自然性和零样本能力，逐渐成为主流。在这一范式中，语音信号被离散化为标记序列，这些标记由LLM以文本为提示进行建模，并通过基于标记的声码器重建为波形。显然，语音标记在LLM基础的TTS模型中起着至关重要的作用。目前的语音标记是通过无监督方式学习的，缺乏明确的语义信息和与文本的对齐。在本文中，我们提出使用监

相关文章：

【深度学习】CosyVoice，论文

CosyVoice_v1.pdf 文章目录 CosyVoice: A Scalable Multilingual Zero-shot Text-to-speech Synthesizer based on Supervised Semantic Tokens摘要1 引言2 CosyVoice: 使用监督语义标记的可扩展TTS模型2.1 用于语音的监督语义标记2.2 用于TTS的大型语言模型2.3 最优传输条件流…...

编程日记 2024/8/1 7:16:40

PHP8.3.9安装记录，Phpmyadmin访问提示缺少mysqli

ubuntu 22.0.4 腾讯云主机 下载好依赖 sudo apt update sudo apt install -y build-essential libxml2-dev libssl-dev libcurl4-openssl-dev pkg-config libbz2-dev libreadline-dev libicu-dev libsqlite3-dev libwebp-dev 下载php8.3.9安装包 nullhttps://www.php.net/d…...

编程日记 2024/8/1 7:15:39

[译] 深入浅出Rust基金会

本篇是对 RustConf 2023中的Rust Foundation: Demystified这一视频的翻译与整理, 过程中为符合中文惯用表达有适当删改, 版权归原作者所有. 大家好,我是Sage Griffin,我的代词是they/them。我今天来这里是要谈谈Rust基金会。 要了解基金会实际做什么,我们需要理解美国国内税收…...

编程日记 2024/8/1 7:14:37

Postman：API开发与测试的强大伴侣

在当今的数字化时代，API（应用程序编程接口）已成为不同软件系统之间通信的桥梁，它们如同数字世界的“翻译官”，使得数据和服务能够在不同的平台和应用程序之间无缝流动。然而，API的开发、测试和维护并非易事…...

编程日记 2024/8/1 7:13:35

Web应用的视界革命：WebKit支持屏幕方向API的深度解析

Web应用的视界革命：WebKit支持屏幕方向API的深度解析 在现代Web应用开发中，屏幕方向的适应性是一个重要的考虑因素。屏幕方向API（Screen Orientation API）提供了一种方法，允许Web应用知道并响应屏幕的方向变化&#x…...

编程日记 2024/8/1 7:12:34

【前端】一文带你了解 CSS

文章目录 1. CSS 是什么2. CSS 引入方式2.1 内部样式2.2 外部样式2.3 内联样式 3. CSS 常见选择器3.1 基础选择器3.1.1 标签选择器3.1.2 类选择器3.1.3 id 选择器3.1.4 通配符选择器 3.2 复合选择器3.2.1 后代选择器 4. CSS 常用属性4.1 字体相关4.2 文本相关4.3 背景相关4.4 设…...

编程日记 2024/8/1 7:11:31

IT服务运营管理中的关键考核指标

IT服务运营过程中常见的关键考核指标体现在人员、技术、资源、过程、质量等要素中，下面把常见的考核项目、计算方式、考核周期罗列如下，本考核指标主要用于对IT服务运营单位或部门的考核。 IT服务运营管理关键考核指标 要素考核项目计算方式常见考核周期…...

编程日记 2024/8/1 7:10:28

复习C语言从源文件.C到二进制.bin或可执行文件.exe文件的流程

...

编程日记 2024/8/1 7:09:27

如何恢复硬盘里删除的数据？硬盘数据恢复真的可靠吗？2024最新解答！

在日常的计算机使用中，我们时常会不小心删除硬盘中的重要数据，这时候，数据恢复就显得尤为重要。本文将介绍几种恢复硬盘里删除数据的方法，并探讨硬盘数据恢复的可靠性，提供2024年的最新解答。 一、什么是电脑硬盘&…...

编程日记 2024/8/1 7:08:26

Android Studio的新界面，怎么切换回老界面

将勾选的 Enable new UI 取消掉即可...

编程日记 2024/8/1 7:06:21

怎么用U盘重装系统

在使用电脑的过程中，难免会遇到系统故障、运行缓慢等问题。当这些问题严重影响使用电脑的体验时，重装系统往往是一个有效的解决办法。用U盘重装系统是一种简单快捷的方法，本文将详细介绍如何使用U盘来重装系统，帮助大家轻松完成这…...

编程日记 2024/8/1 7:05:20

Spring事件快速上手

文章目录 应用场景核心接口使用步骤异步事件事件排序 Spring 事件（Application Event）是 Spring 框架中实现观察者模式的一种方式，可以通过发布者和监听器来处理事件，常用于类之间解耦合、异步操作。 观察者模式：观察者…...

编程日记 2024/8/1 7:04:19

java算法递归算法练习-数组之和

简单找个题目练习一下递归算法，输入一组数组，使用递归的方法计算数组之和。其实这个题目，用循环的方式也很简单就能解决，直接循环遍历一下相加就行了，但是我们用来练习一下递归。 先来找基线条件和递归条件 基线条件…...

编程日记 2024/8/1 7:01:12

在kdevelop中运行程序并调试

补充前序知识： 1.CMakeLists.txt文件中，如下图，第一行生成的是静态库文件（我们前一讲所使用的），第二行是动态库文件。 静态库与动态库： 静态库（Static Libraries） 定义…...

编程日记 2024/8/1 7:00:11

MySQL数据库-SQL编程

一、触发器 1.触发器简介 触发器（trigger）是一个特殊的存储过程，它的执行不是由程序调用，也不是手工启动，而是由事件来触发，比如当对一个表进行操作（ insert，delete， u…...

编程日记 2024/8/1 6:59:10

TypeError: Components is not a function

Vue中按需引入Element-plus时，报错TypeError: Components is not a function。 1、参考Element-plus官方文档 安装unplugin-vue-components 和 unplugin-auto-import这两款插件 2、然后需要在vue.config.js中配置webPack打包plugin配置 3、重新启动项目会报错 T…...

编程日记 2024/8/1 6:56:05

GuLi商城-商品服务-API-平台属性-销售属性维护

公用之前的接口，改下入参：...

编程日记 2024/8/1 6:54:03

使用Leaflet GeoMan结合天地图进行自由标绘实战

目录 前言 一、Leaflet GeoMan是什么 1、关于Leaflet GeoMan 2、关于开源版和企业版 3、相关的方法介绍 二、使用Geoman来进行自由标绘实战 1、相关资源准备 2、新建html网页 3、初始化地图及绑定Geoman控件 三、自由标绘的成果 1、整体效果 2、添加空间对象 3、开…...

编程日记 2024/8/1 6:52:00

Flutter自定义通用防抖的实现

在前端项目开发中，点击事件的防抖是一个永远无法错开的点，特别是针对一些复杂的业务场景，如果不做好防抖操作，就会导致页面或功能触发多次，引发异常或闪退。 在Flutter中可以通过扩展函数的特性 对Function增加全局扩…...

编程日记 2024/8/1 6:50:59

C# Unity 面向对象补全计划 之 继承（字段与属性）

本文仅作学习笔记与交流，不作任何商业用途，作者能力有限，如有不足还请斧正 本系列旨在通过补全学习之后，给出任意类图都能实现并做到逻辑上严丝合缝 Q：为什么要单讲继承字段与属性，不讲继承方法了吗&#x…...

编程日记 2024/8/1 6:49:57

Ostrakon-VL-8B智能代理（Agent）实践：自动化巡检餐厅后厨

Ostrakon-VL-8B智能代理实践：自动化巡检餐厅后厨 你有没有想过，如果餐厅后厨能有一个不知疲倦、眼力超群的“数字监工”，每天自动检查安全隐患和操作规范，那会是什么场景？过去，这可能需要一个经验丰富的厨…...

编程新知 2026/3/28 7:35:18

amsmath宏包完全使用手册：从解决符号显示问题到专业公式排版

amsmath宏包完全使用手册：从解决符号显示问题到专业公式排版 在科研论文、技术文档或数学教材的写作过程中，LaTeX作为专业的排版工具已经成为学术界的标准选择。而数学公式的排版，则是LaTeX最引以为傲的功能之一。然而，即使是经验…...

编程新知 2026/3/28 7:29:15

麦橘超然Flux控制台快速体验：输入文字秒出高清图片

麦橘超然Flux控制台快速体验：输入文字秒出高清图片 1. 为什么选择Flux控制台 如果你正在寻找一个简单高效的AI图像生成工具，麦橘超然Flux控制台值得考虑。这个基于DiffSynth-Studio构建的Web服务，集成了majicflus_v1模型，通过fl…...

编程新知 2026/3/28 6:14:30

Qwen2.5-VL半监督学习效果展示：有限标注下的性能提升

Qwen2.5-VL半监督学习效果展示：有限标注下的性能提升 1. 引言 在AI视觉领域，标注数据一直是制约模型性能的关键因素。传统监督学习需要大量人工标注，成本高、周期长，让很多企业和研究者望而却步。但今天，随着半监督学…...

编程新知 2026/3/28 5:48:11

AgentCPM深度研报助手C语言文件操作实战：批量处理本地研报文本文件

AgentCPM深度研报助手C语言文件操作实战：批量处理本地研报文本文件 你是不是也遇到过这样的场景？手头有一堆下载好的行业研报，有PDF，有TXT，堆在文件夹里。想快速了解每份报告的核心观点，但一份份打开看&am…...

编程新知 2026/3/28 5:46:08

石墨烯这玩意儿在COMSOL里折腾起来挺有意思的，特别是搞太赫兹和近红外的同学估计都遇到过选模型的纠结。今天咱们就聊点实战经验，顺便甩点代码片段

Comsol石墨烯二维材料。 包含太赫兹德鲁得和近红外Kubo两种模型。 共7个案例，包含参考文献。先说说太赫兹波段常用的德鲁得模型，这货相当于把石墨烯当经典等离子体处理。在COMSOL里实现时，关键要设置表面电流密度： sigma_drude (…...

编程新知 2026/3/28 4:28:00

ESP32烧录全攻略：从命令行到GUI工具，新手也能轻松搞定

ESP32烧录全攻略：从命令行到GUI工具，新手也能轻松搞定 第一次接触ESP32开发板时，那块小小的芯片里蕴藏着无限可能，但如何将自己的代码"装进"这个硬件大脑却成了拦路虎。记得我最初尝试烧录时，面对各种专业术…...

编程新知 2026/3/28 4:11:53

Poppler Windows版技术架构深度解析：跨平台PDF处理的零配置解决方案

Poppler Windows版技术架构深度解析：跨平台PDF处理的零配置解决方案 【免费下载链接】poppler-windows Download Poppler binaries packaged for Windows with dependencies 项目地址: https://gitcode.com/gh_mirrors/po/poppler-windows Windows环境下PDF处…...

编程新知 2026/3/28 3:49:47

OpenClaw对话增强：nanobot模型微调提升任务理解准确率

OpenClaw对话增强：nanobot模型微调提升任务理解准确率 1. 为什么需要专业场景的模型微调 在测试OpenClaw基础版本时，我发现一个明显痛点：当处理专业领域的自动化任务时，通用大模型经常出现"理解偏差"。比如在医疗文献…...

编程新知 2026/3/28 2:59:12

OpenClaw开发辅助：Qwen3.5-9B实现日志分析与错误自动修复

OpenClaw开发辅助：Qwen3.5-9B实现日志分析与错误自动修复 1. 为什么需要AI辅助日志分析？ 每次凌晨被报警短信吵醒，盯着密密麻麻的日志文件找异常时，我都会想：如果能有个AI助手帮我自动分析日志、定位问题甚至尝试修复…...

编程新知 2026/3/28 1:31:46