voice agent实现方案调研

前言
目前语音交互主要的实现大体有两种：

1. 级联方案，指的是，大规模语言模型 （LLM）、文本转语音 （TTS） 和语音转文本 （STT），客户的话通过vad断句到STT的语音转文本，经过大模型进行生成文本，生成文本后通过TTS进行回复给用户。（主流方案）
2. 端到端的方案，开发者无需再组合多个模型来实现语音助手功能，而是可以通过单一 API 调用来处理整个过程，从语音识别到文本推理，再到语音合成。这种集成方法不仅提高了效率，还保留了情感、重音和口音等细节，大大增强了用户体验。（openai realtime）

方案对比:
暂时无法在飞书文档外展示此内容
国内目前：没有realtime端到端的方案，据了解都在25年的时候会进行发布

openai：
Realtime API with WebRTC（适用于客户端应用程序）
Realtime API with WebSockets （适用于服务端到服务端应用程序）

声网RTC：
声网本身不做大模型，但是为了使大模型在语音领域的使用，采用级联方案，这样普通大模型也能够应用到语音领域
声网认为延迟很重要，所以在延迟上下了很多功夫，这种考虑是C端的用户，用户的语音输入可能使用5g和wifl进行传输，所以延迟不稳定。<