TRTC实时对话式AI解决方案，助力人机语音交互极致体验

 近年来，AI热度持续攀升，无论是融资规模还是用户热度都大幅增长。2023 年，中国 AI 行业融资规模达2631亿人民币，较2022年上升51%；2024年第二季度，全球 AI 初创企业融资规模为 240 亿美金，较第一季度翻倍增长。伴随AI能力不断提升，其业务应用场景也越来越多。

今年五月，OpenAI新推出的 GPT-4o 成为业界焦点。它是首个实现端到端、语音输入输出的大模型，具备真实情感表达、上下文理解和推理能力。同时，借助 RTC 的超低延迟通信能力，GPT-4o输入到输出平均延迟在 500 毫秒以内，实现了人与AI实时对话，堪称一次革命性的交互体验升级。

01

GPT-4o发布以来，对行业应用的影响和变化

下图右侧展示了GPT-4o在行业场景中的落地效果。客服、语言学习这些对效率和实时性要求较高的场景，以往都需要人工完成，而当AI具备实时性后，可通过AI客服、AI 语言学习助手、AI私人助理等方式实现降本增效。在娱乐场景中，AI实时性增强后，AI主播、AI 陪聊等场景都可通过AI+RTC实现落地。可以确定，基于 AI 的实时对话智能体将是今年行业最为关注的产品方向，能够全面升级业务能力，进一步实现降本增效。

AI与RTC技术的碰撞为我们提供了巨大的想象空间，但当下落地AI实时对话依然面临着不少挑战。

首先是端到端延迟的问题。GPT-4o 演示的多模态交互是未来的发展方向，但目前国内多模态技术尚未成熟，短期内还是以单模态为主，需借助 ASR（自动语音识别）和 TTS（文本转语音）等产品串联整个流程。然而，在整个链路中使用多个产品时，如何确保全链路实现低延迟是一个难题。

其次是降噪与打断的问题。在现实环境中，存在各种噪音和干扰源，如咖啡馆、户外的嘈杂声等。这些噪音会影响语音识别的准确性，同时也可能导致 AI 在讲话时被误打断。如何有效地进行降噪和抗干扰，提高语音识别的准确性性，也是一个重大挑战。

最后是弱网环境的问题。在地铁、电梯等网络状况较差的场景下，如何保证实时对话正常使用？

针对上述挑战，TRTC（腾讯实时音视频）充分结合自身的音视频通信能力，全新推出了TRTC AI服务能力。通过结合第三方大模型以及TTS（文本转语音）技术，可以帮助客户轻松创建出一个媲美GPT-4o所演示的AI实时交互体验，并将其应用于实际业务场景中。

02

打造实时交互新体验，TRTC推出实时对话式AI解决方案

TRTC对话式AI解决方案一站式提供从音视频采集、处理、传输到云端AI处理服务的全链路能力。客户端应用通过TRTC SDK捕获音频并发送至云端，云端接收后将其发送至AI服务进行处理。STT（自动语音识别）将音频转换为文本，同时进行情感分析和拟人对话处理。处理后的文本交由LLM（大型语言模型）进一步理解和生成。最后，生成的文本通过TTS（文本转语音）模块转换成语音并发布回客户端应用，形成一个闭环。针对有较多个性化需求的客户，方案也提供了对应的通道可接入第三方 LLM（大型语言模型）和TTS。

更流畅自然的对话体验

强大技术优势，毫秒级实时响应

TRTC对话式AI具备超低延迟AI对话、精准的ASR识别、第三方LLM和TTS无缝集成、高兼容性等特点。方案针对AI对话全链路深度优化，音视频端到端延迟低于300毫秒，AI对话延迟低于1000毫秒；支持识别英语、西班牙语、日语、韩语、中文以及23种方言和130种国际语言；支持配置LLM和TTS服务的账户凭证，能够无缝集成到服务后台；；支持iOS、Android、Windows、macOS、Web、Flutter、Electron、Unity、Unreal和React Native等多平台，兼容超20000种设备模型。

此外，TRTC 对话式 AI 兼具双讲打断、AI 降噪、对话暂停、实时字幕、弱网抗性以及服务稳定等诸多技术优势。在与 AI 进行聊天时，用户能够实时打断、暂停聊天，当恢复聊天时，AI可无缝继续交流，切实营造出与人聊天的真实体验。同时，TRTC对话式AI方案还配备全新降噪引擎，在实际对话过程中能够降低周围杂音以及远端人声，提高 ASR 的识别准确度。最后，其服务稳定可靠，TRTC在全球拥有3200+加速节点，具备多服务容灾能力，具有高稳定性与超低延迟的特点，即便在丢包率高达 80% 的弱网环境下，也能实现正常的音频通话。

广阔应用空间

适用多种场景需求

TRTC 对话式 AI 能够广泛应用于社交娱乐、智能客服、AI 大模型 ChatBot、在线医疗、企业办公、在线教育等场景。例如在社交娱乐领域中的 AI 陪聊、私人红娘、心理咨询等场景，以往或许需要专人进行线上或线下咨询、交流，而借助 AI 则能够更好地协助用户找到自己期望的匹配对象进行聊天，同时还能提升客户效率，降低人工成本。 

AI陪聊

陪聊场景在引入AI之前，一般是用户之间进行交流沟通。而引入 AI后，业务侧能够创建多个AI Agent（智能代理），并对这些AI进行不同的角色设定。用户可以自主挑选符合自身需求的AI Agent进行沟通交流。之前用户与AI的交互基本限于文字，类似使用微信、QQ交流，而接入TRTC对话式AI方案后，用户可以与AI进行实时语音通话，就像打电话，交流更为便捷，可以获取更多情绪价值。我们的客户在其业务中接入TRTC对话式AI方案后，用户与AI的互动时长及付费转化都实现了成倍提升。

AI客服

另一个对话式AI的落地场景是AI客服。我们的客户拥有上百万的履约司机，司机在长途运输途中，需经过其他城市进行装货和卸货，并且每次装货和卸货时都需要与平台方频繁交流。如果采用人工进行服务支持，成本非常高。在接入AI方案后，可以通过AI与司机进行通话交流，AI再与客户后台自主研发的大模型匹配相关需求，例如在广州是否有适合其车辆运输的货物，然后迅速反馈给用户。原本AI只能采用文字输入，不方便司机在驾驶过程中使用，对话式AI解决了这一问题。客户接入方案后，客服接待率以及完单率都显著提升，同时也为客户降低了人力成本、提高了服务效率。