山东大学项目实训-医患沟通系统

这是初版策划案待答辩后与导师沟通后修改项目背景医患沟通是临床诊疗的核心环节良好的沟通能显著提升患者满意度、减少医疗纠纷。然而传统医患沟通培训多依赖标准化病人SP或角色扮演存在成本高、场景单一、反馈滞后等问题。本项目旨在利用人工智能与虚拟现实技术开发一款基于Unity的医患聊天模拟训练系统。医生用户通过与AI驱动的数字人患者进行多轮语音对话训练在不同医疗场景如解释病情、共同决策、坏消息告知的沟通技巧系统自动依据“医患沟通技能评价量表”SEGUE对沟通表现进行客观评分为医学教育提供低成本、可重复、标准化的训练工具。技术创新大语言模型驱动的患者角色采用DeepSeek-V3大模型通过精细的Prompt工程模拟不同性格、病情和心理状态的患者角色使对话更真实、更具挑战性突破传统脚本式对话的局限性。端到端语音交互与实时口型同步集成科大讯飞语音识别STT与语音合成TTS实现“语音输入-大模型生成-TTS播报”闭环。结合SALSA LipSync Suite插件根据音频实时驱动数字人口型提升沉浸感。SEGUE量表自动评分利用大模型的语义理解能力结合预设评分规则对医患对话历史进行结构化分析自动计算SEGUE量表各维度得分提供即时、客观的反馈。多场景数字人快速构建使用Character Creator 4生成高保真患者模型配合Mixamo动作库和SALSA唇形同步实现角色快速迭代与表情动画增强降低美术开发成本。WebSocket实时通信架构前后端通过WebSocket保持长连接实现低延迟的语音流式传输与对话状态同步提升交互流畅度。工作内容与医学院合作搜集1~2篇医患沟通模拟训练脚本根据剧本编写病人prompt使用“医患沟通技能评价量表”SEGUE量表指导评分工作。数字人与诊室环境构建生成符合现代审美的医学数字人模型搭建专业的诊室三维场景并绑定自然顺畅、符合患者病情的待机与情绪动画。实时语音对讲系统开发开发Unity客户端的麦克风音频采集模块与音频流播放模块搭建Python后端的并发连接处理与API调度服务。医疗场景Prompt工程设计撰写并调试针对不同经典医患沟通场景的患者身份设定确保AI的回复口语化、贴合患者心理且具有挑战性。自动化打分引擎开发开发一套将对话逐字稿转化为SEGUE量表各维度得分及评语的LLM推理系统并将结果结构化入库。UI/UX交互设计与实现实现医生登录、训练场景选择、聊天录音控制、最终打分结果及分析报告的可视化呈现。技术路线前端技术栈·语音输入UnityEngine.Microphone·音频输出UnityEngine.AudioSource·UIUGUI·网络通信WebSocket美术技术栈·角色生成Character Creator 4 (CC4)咸鱼·场景Maya/Blender或者买买买·唇形同步SALSA LipSync Suite咸鱼·动画动作Mixamo 库后端技术栈·基础框架PythonFastAPI·语音识别科大讯飞语音听写API·语音合成科大讯飞在线语音合成·大模型LLMDeepSeek-V3·数据库PostgreSQL数据流用户点击按钮开始录音 →Unity通过Microphone捕获音频 →通过WebSocket发送音频流/文件到后端 →后端接收音频调用科大讯飞STT接口返回文本 →后端将文本与当前场景、历史对话组合成Prompt调用DeepSeek-V3获得患者回复文本 →后端将回复文本发送至科大讯飞TTS获取音频文件URL →Unity收到音频URL后下载并播放同时触发SALSA口型同步数字人播放对应说话动画 →用户点击“结束聊天”按钮后端基于完整对话历史调用SEGUE评分模块返回评分结果并在UI展示实施计划第一阶段1-2周需求细化与技术验证。确认场景脚本、SEGUE量表细则测试所有API科大讯飞、DeepSeek可用性及延迟搭建基础通信框架。第二阶段3-6周核心功能开发。后端实现STT→LLM→TTS串联及WebSocket服务Unity实现录音、播放、UI框架及基础通信美术完成第一个角色及场景原型。第三阶段7-9周功能完善与集成。后端完成评分模块、多场景Prompt配置Unity集成SALSA、动画控制完成全部UI美术完成全部角色、动画、场景并导入。第四阶段10-12周测试、优化与部署。端到端联调优化响应速度、评分准确性打包Unity客户端编写用户手册。预期成果一套高可用、低延迟的“医患沟通模拟与评价系统” Demo包含 1-2 个基于写实渲染管线的高精度 3D 虚拟病人模型具备真实的呼吸动作与高精度的唇音同步实现“按住说话 - 智能理解 - 语音回复”的顺畅体验系统端到端交互延迟控制在极低水平以及包含实时滚动的聊天记录界面和问诊结束后的打分系统