OpenClaw技能组合实战：Phi-3-vision-128k实现完整会议纪要自动化

OpenClaw技能组合实战Phi-3-vision-128k实现完整会议纪要自动化1. 为什么需要会议纪要自动化作为经常参加跨时区会议的开发者我长期被会议纪要整理工作困扰。传统流程需要手动录音转文字、整理白板照片、提取行动项最后还要同步到日历——整个过程至少消耗1小时。直到发现OpenClaw可以通过技能组合实现全流程自动化我的工作效率才真正得到解放。这次实践的核心价值在于用Phi-3-vision-128k多模态能力串联四个关键技能会议录音转文字语音识别白板照片内容提取图像识别行动项与责任人提取文本分析日历事件自动创建系统集成2. 环境准备与技能安装2.1 基础环境配置在MacBook ProM1芯片16GB内存上部署环境# 安装OpenClaw核心框架 curl -fsSL https://openclaw.ai/install.sh | bash openclaw onboard --provider local --model phi-3-vision关键配置项选择模型地址本地部署的Phi-3-vision-128k服务http://localhost:8000/v1技能存储路径~/openclaw_skills工作区目录~/meeting_auto2.2 技能组合安装通过ClawHub安装四个关键技能模块clawhub install meeting-transcriber whiteboard-ocr action-item-extractor calendar-sync安装后验证技能列表clawhub list --installed # 预期输出 # meeting-transcriber1.2.0 # whiteboard-ocr0.9.3 # action-item-extractor2.1.0 # calendar-sync1.4.13. 实战会议自动化流程3.1 会议录音处理将Zoom本地录音文件MP4格式放入~/meeting_auto/recordings目录执行转换openclaw execute --skill meeting-transcriber --input ~/meeting_auto/recordings/20240605.mp4转换过程会经历语音分离区分发言人时间戳标记文本润色去除口语化词汇生成的20240605_transcript.md包含结构化文本[09:00-09:05] Alice: 关于Q3产品路线图我们需要优先考虑移动端适配... [09:05-09:12] Bob: 我建议将原定的支付模块重构推迟到...3.2 白板照片解析拍摄会议白板照片存入~/meeting_auto/whiteboards调用多模态解析openclaw execute --skill whiteboard-ocr --input ~/meeting_auto/whiteboards/20240605_arch.jpgPhi-3-vision会输出带语义的Markdown结果## 系统架构调整方案 - **前端**采用微前端架构原单体架构 - **后端**新增消息队列RabbitMQ - **数据库**MySQL分库方案按业务单元拆分3.3 行动项自动提取合并前两步结果生成会议纪要初稿cat 20240605_transcript.md 20240605_arch.md draft.md openclaw execute --skill action-item-extractor --input draft.md输出示例显示AI如何理解责任分配{ action_items: [ { task: 移动端适配方案设计, owner: Alice, due_date: 2024-06-12 }, { task: RabbitMQ性能测试, owner: Bob, due_date: 2024-06-15 } ] }3.4 日历事件同步最后将行动项写入日历需提前配置OAuth权限openclaw execute --skill calendar-sync --input action_items.json在Mac日历中可见自动创建的事件标题RabbitMQ性能测试责任人Bob时间2024年6月15日全天备注关联原始会议记录链接4. 关键技术问题与解决方案4.1 多模态协同挑战初期遇到白板识别错误率高的问题通过以下调整解决拍照时确保光线均匀避免反光在whiteboard-ocr配置中增加提示词{ pre_prompt: 这是一张技术方案白板照片包含手绘架构图和文字说明请按以下规则解析1. 区分图形与文字 2. 技术术语保持原样 3. 输出层级化Markdown }4.2 时间解析标准化不同参会者表述时间的方式各异如下周三 vs 6月12日解决方案在action-item-extractor的模型参数中固定时间参考点{ reference_date: 2024-06-05, # 会议当天日期 timezone: Asia/Shanghai }对模糊表述增加二次确认逻辑通过飞书交互4.3 权限控制实践日历写入需要精细权限管理我的实践方案创建专用日历账户botexample.com使用有限权限的OAuth Scopehttps://www.googleapis.com/auth/calendar.events仅事件管理凭证通过Mac钥匙链存储而非明文配置5. 实际效果与优化空间经过两周真实会议测试共8场会议系统表现如下核心指标平均处理时间7分32秒相比人工1小时行动项识别准确率约85%日历事件创建成功率100%仍需人工干预的场景存在多人同时发言的嘈杂录音段白板上的复杂流程图识别非结构化讨论中的隐性任务分配当前通过飞书机器人添加了人工复核环节[AI助理] 已生成会议纪要草案包含3个行动项 1. 移动端适配方案设计Alice 请回复“确认”发布或直接修改内容获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。