Unity数字人开发笔记

开源工程地址：https://github.com/zhangliwei7758/unity-AI-Chat-Toolkit

• 先致敬zhangliwei7758，开放这个源码

---

一、建立工程

• 建立Unity工程（UnityAiChat）
• 拖入Unity-AI-Chat-Toolkit.unitypackage
• 打开chatSample工程，可以另存一个，方便改动
  

---

二、工程说明

• Quad：背景
• 胡桃：人物模型
• Canvas-Chat：UI
• ChatAgent：数字人代理配置
• LLM：大模型，这里集成了deepseek，讯飞等，
• TTS/STT：文字转语音/语音转文字，集成了讯飞
• Audiosouse：语音模块

---

三、LLM大模型说明

• chatgpt:
  集成了chatgpt 3.5/4 的api接口，使用这个脚本，需要在脚本参数里填写openai的api key, 默认设置的模型是chatgpt-3.5,如果要替换chatgpt4，需要自行修改模型名称；

• chatglm:
  集成了对chatglm官方示例的api接口，如果使用chatglm官方的仓库部署的api服务，就可以直接使用，需要配置的内容是，配置部署好的api地址即可；
  智谱清言：https://chatglm.cn/main/alltoolsdetail?lang=zh

• rwkv:
  集成了针对rwkv runner开源项目的api接口，因为rwkv runner这个项目的api格式和chatgpt是一样的，如果下载rwkv runner这个项目使用的话，可以使用工具提供的脚本，只需要在api地址参数配置实际的地址就可以了。
  https://rwkv.cn/

• 星火大模型 chatSpark:
  集成了科大讯飞的星火大模型的api对接功能，可根据需求自行配置V1.5/V2.0版本

• 百度智能云千帆大模型平台:
  集成了百度智能云千帆大模型平台模型api服务，包括文心一言等十种模型

• 智谱AI开放平台:
  集成了智谱AI开放平台下，chatGLM Turbo模型的api支持

• Ollama工具:
  集成对Ollama部署的本地大模型的API调用支持，可以利用chatOllama模块驱动AI小姐姐聊天

• DeepSeek:
  集成对DeepSeek的API调用支持

另外还有dify知识库大模型平台

---

四、TTS/STT： 语音合成 / 语音识别

• 微软Azure语音合成以及语音识别服务：
  如果使用这个服务，需要准备微软Azure的语音服务令牌，自行注册账号，开通服务获得；

• 百度AI的语音合成以及语音识别服务：
  使用这个服务时，注册百度AI开放平台的账号，开通语音合成、语音识别服务，创建应用获取到相关的密钥，填入相应脚本即可。

• OpenAI平台提供的在线Whisper语音识别服务：
  集成了openAI平台的Whisper在线语音识别api，需要使用openai的api key 集成了openAI平台的TTS语音合成api，可实现语音合成功能

• 提供针对开源的Whisper模型的api集成：
  集成的项目是github上开源项目：https://github.com/ahmetoner/whisper-asr-webservice 部署这个项目，可使用本模块来调用语音识别的api

• 提供针对科大讯飞语音服务的api集成：
  实现了对科大讯飞语音服务的api集成，采用了websocket方式，可使用科大讯飞的语音识别以及语音合成服务

• GPT-SoVITS
  实现高质量的 文本到语音（TTS） 和 语音克隆（Voice Cloning）
  GPT-SoVITS Gradio，是基于 Gradio 开发的交互式 Web 界面，方便用户通过浏览器直接使用 GPT-SoVITS 的语音合成功能，无需编写代码。
  GPT-SoVITS FastAPI，FastAPI 是一个高性能 Python Web 框架，适合构建 RESTful API，是将模型封装为 API 服务的后端方案，供开发者集成到其他应用或系统中。

---

五、使用讯飞+deepseek，实现数字人

• deepseek：https://platform.deepseek.com/
  一定要充10元哦
• deepseek API：https://api-docs.deepseek.com/zh-cn/
• 接口：https://api.deepseek.com/chat/completions
• Unity里ChatAgent里选择chatDeepSeek
  
• chatDeepSeek的api_key：
  
• System Setting：可以设置人设，比如讲解员
• Prompt：AI提示词
• Unity里ChatAgent里选择xunfei作为语音识别
  
• 填写讯飞的key
  

注意，这里只需要填写红框的部分；讯飞的api的顺序是先api_secret，和这里顺序相反，不要填错了

• ChatSample需要勾选Is Vocie Mode
  

注意：这样选择后，能说话了，但是有长度报错，可能原因是目前deepseek是流式的，但是语音是等文字回复完成后，一次生成的

• 我们改动chatgpt-3.5-turbo，作为deepseek的接口来使用，避免这个问题
  
• 设置下ChatSample
  

最后注意事项：我们麦克风，尽量用那种单独的麦克风，如果用摄像头的，有的时候会认不到

&祝福大家开发顺利