SenseVoice-Small模型Dify工作流集成：打造无代码语音AI应用

SenseVoice-Small模型Dify工作流集成打造无代码语音AI应用你是不是也遇到过这样的场景手头有一堆会议录音、访谈音频需要整理成文字稿再提炼出核心要点最后还得把总结发出去。整个过程繁琐又耗时得在不同软件间来回切换费时费力。现在有了像Dify这样的AI应用开发平台事情就变得简单多了。你不需要写一行代码就能把语音转文字、文本总结、邮件发送这些任务串成一个自动化流程。今天我就来分享一下如何将我们之前部署好的SenseVoice-Small语音识别模型无缝集成到Dify的工作流里搭建一个真正能用的“音频处理小助手”。简单来说这个“小助手”的工作流是这样的你上传一段音频文件SenseVoice-Small模型会把它精准地转写成文字接着工作流里的GPT节点会对这些文字进行智能总结提炼出会议纪要或关键信息最后自动将这份总结通过邮件发送给指定的人。整个过程全自动你只需要上传文件剩下的就交给工作流了。1. 为什么选择Dify来集成语音AI在开始动手之前你可能想问市面上工具那么多为什么偏偏是Dify我自己用下来觉得它有几个特别适合我们这种场景的优点。首先它真的是“无代码”或“低代码”。它的操作界面非常直观就像搭积木一样通过拖拽不同的功能节点Node就能构建出复杂的应用逻辑。这对于产品经理、运营人员或者业务专家来说门槛极低你完全可以把你的业务想法快速变成一个可运行的AI应用原型而不必等待开发排期。其次Dify对模型和工具的集成非常友好。它原生支持对接国内外主流的大语言模型比如GPT系列、Claude等同时也提供了“自定义工具”和“代码节点”这样的灵活接口。这意味着我们可以很方便地把我们自己部署的SenseVoice-Small模型包装成一个Dify工作流能调用的工具节点。最后Dify工作流的核心价值在于“自动化”和“串联”。单个AI模型的能力再强也往往是孤立的。工作流能把语音识别、文本理解、内容生成、消息推送等多个AI能力有机地组合起来形成一个完整的业务解决方案。这不仅仅是技术的叠加更是业务流程的再造和效率的倍增。2. 准备工作让SenseVoice模型准备好被调用在Dify里“搭积木”之前我们得先确保SenseVoice-Small这块“积木”已经打磨好并且放在了一个Dify伸手就能拿到的地方。关键一步就是为它创建一个标准的API接口。假设你已经按照之前的教程在本地或云服务器上部署好了SenseVoice-Small模型。现在我们需要写一个简单的Web服务它接收音频文件调用模型进行转写然后返回文本结果。这里我用一个Python的FastAPI示例来演示因为它轻量又快捷。# sensevoice_api.py from fastapi import FastAPI, File, UploadFile from fastapi.responses import JSONResponse import torch from funasr import AutoModel import tempfile import os app FastAPI(titleSenseVoice-Small API Service) # 初始化模型假设已下载并配置好模型路径 model_dir ./SenseVoice-Small # 你的模型存放路径 model AutoModel(modelmodel_dir) app.post(/transcribe) async def transcribe_audio(file: UploadFile File(...)): 接收音频文件返回转写文本。 try: # 1. 保存上传的临时文件 suffix os.path.splitext(file.filename)[-1] with tempfile.NamedTemporaryFile(deleteFalse, suffixsuffix) as tmp_file: content await file.read() tmp_file.write(content) tmp_file_path tmp_file.name # 2. 调用模型进行语音识别 # 注意这里需要根据funasr模型的实际调用方式调整 result model.generate(inputtmp_file_path) # 假设result结构中含有转写文本例如 result[text] transcribed_text result.get(text, ) # 3. 清理临时文件 os.unlink(tmp_file_path) # 4. 返回结果 return JSONResponse(content{ status: success, text: transcribed_text }) except Exception as e: return JSONResponse( status_code500, content{status: error, message: str(e)} ) if __name__ __main__: import uvicorn uvicorn.run(app, host0.0.0.0, port8000)这个API创建好后使用uvicorn sensevoice_api:app --reload命令就能在本地跑起来。为了能让Dify访问到你需要确保这个服务有一个公网可访问的地址。如果你只是在本地测试可以使用内网穿透工具如ngrok生成一个临时公网URL。在生产环境则需要部署到云服务器并配置好域名。测试一下用curl或者Postman向http://你的服务地址:8000/transcribe发送一个POST请求附带音频文件如果能正确返回转写文本那么这块“积木”就准备好了。3. 在Dify中构建自动化工作流现在进入最核心的“搭积木”环节。我们登录Dify平台创建一个新的“工作流”应用。3.1 创建应用与配置LLM首先给应用起个名字比如“会议纪要自动生成器”。在Dify的“模型供应商”设置里配置好你要用的LLM比如OpenAI的GPT-4或GPT-3.5-Turbo。这是后续进行文本总结的“大脑”。3.2 引入自定义工具集成SenseVoice APIDify工作流的神奇之处在于“节点”。我们需要把SenseVoice模型作为一个节点加入进来。在工作流画布上找到并添加一个“HTTP请求”节点或“自定义工具”节点不同版本Dify名称可能略有差异。配置这个节点URL填写我们上一步搭建好的SenseVoice API地址即http://你的服务地址:8000/transcribe。方法选择POST。请求头通常需要设置Content-Type: multipart/form-data。请求体配置为表单数据Form-Data添加一个字段名称为file值类型选择“变量”并关联到工作流起始的“文件上传”节点输出的文件对象。配置这个节点的输出。我们需要解析API返回的JSON将转写文本提取出来作为一个变量。例如设置输出变量名为transcribed_text值从响应体的text字段中获取。这样当工作流执行时这个节点就会自动调用我们的SenseVoice服务完成语音转文字并把结果传递给下游节点。3.3 串联智能总结与邮件发送接下来我们继续拖拽节点完成整个流程。LLM节点在SenseVoice节点之后添加一个“LLM”节点。在它的系统提示词Prompt中可以这样设计“你是一个专业的会议纪要助手。请将以下语音转写文本提炼成结构清晰的会议纪要包括核心议题、讨论要点、决策事项和待办任务。文本内容{{transcribed_text}}”。这样LLM节点就能接收到上一步的转写文本并生成总结。邮件发送节点在LLM节点之后添加一个“邮件发送”节点Dify可能内置或需要通过“自定义工具”集成邮件服务API如SendGrid、SMTP等。配置发件人、收件人可以是固定地址也可以由用户输入邮件主题和内容。在邮件正文中引用LLM节点输出的总结内容变量。至此一个完整的“上传音频 - 语音转写 - 智能总结 - 发送邮件”的工作流就搭建完成了。你的画布上应该有一条清晰的连线开始 - 文件上传 - SenseVoice API节点 - LLM节点 - 邮件节点 - 结束。4. 实际应用与效果展示理论说再多不如实际跑一遍。我用自己的一个团队周会录音约15分钟测试了这个工作流。原始音频一段包含项目进度同步、问题讨论和下周计划安排的日常会议录音。工作流执行在Dify应用界面上传该音频文件点击运行。过程与结果工作流首先调用了SenseVoice-Small API。大约30秒后返回了完整、准确的转写文本。SenseVoice-Small在多人对话、略带口语化的场景下识别准确率令人满意只有少数专有名词需要稍后人工校正。转写文本随即被送入GPT-4节点。我设定的提示词要求其生成结构化纪要。最终它输出了一份包含“会议主题”、“与会人员”、“讨论要点”分议题列出、“达成共识”和“行动项负责人截止时间”的清晰文档。最后邮件节点成功将这份自动生成的会议纪要发送到了我指定的邮箱。整个流程从上传到收到邮件总耗时约2分钟其中大部分时间是模型推理。对比传统的人工收听、记录、整理、发送效率提升是显而易见的。更重要的是这个过程是完全自动化的我可以同时处理多个音频或者将其设置为定时任务解放了大量重复性劳动。5. 更多场景拓展与实践建议这个基础工作流就像一块乐高底板你可以在此基础上添加更多“积木”创造出更强大的应用。场景一客户服务质检将客服通话录音接入工作流。SenseVoice转写后不仅总结内容还可以连接一个“文本分类”节点自动判断服务是否合规、客户情绪如何并生成质检报告发送给主管。场景二访谈内容归档媒体或研究人员进行访谈后工作流可自动转写、总结并调用一个“向量数据库”节点将总结内容存入知识库方便后续检索和分析。场景三多语种会议支持如果SenseVoice模型支持多语种可以并联多个LLM总结节点针对不同语言实现一份音频同时生成中英文双版会议纪要。实践建议提示词优化LLM节点的效果极度依赖提示词。多花点时间打磨你的提示词明确你想要的总结格式、风格和重点。错误处理在实际应用中建议在工作流中加入“判断”节点检查API调用是否成功失败时能走另一条路径如发送错误通知。成本与性能对于超长音频可以考虑先使用工具节点进行音频分割。同时根据业务对实时性的要求选择合适的LLM模型如GPT-3.5-Turbo速度更快、成本更低。6. 写在最后通过Dify工作流集成SenseVoice-Small我们真正做到了让先进的语音AI技术“开箱即用”。它打破了技术壁垒让那些不懂机器学习部署、不会写API接口的业务人员也能亲手搭建出解决实际痛点的AI应用。整个过程最让我有感触的不是某个技术点多深奥而是这种“拼接”和“创造”的乐趣。你就像个导演把不同的AI能力语音识别、自然语言理解和非AI服务邮件、数据库召集起来安排它们各司其职共同演出一场自动化的好戏。SenseVoice-Small提供了精准的“听力”Dify提供了灵活的“舞台”和“调度能力”而你的业务洞察力则是整场演出的“剧本”。如果你已经部署好了模型强烈建议你在Dify上亲手尝试搭建一下这个工作流。从最简单的流程开始看到它跑通的那一刻你会对AI应用开发有全新的、更直观的理解。接下来你就可以尽情发挥想象力去设计更复杂、更贴切你工作需求的自动化流程了。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。