ComfyUI工作流集成：SenseVoice-Small语音识别驱动AI图像生成

ComfyUI工作流集成SenseVoice-Small语音识别驱动AI图像生成你有没有想过有一天动动嘴皮子就能让电脑把你脑海里的画面画出来比如你对着麦克风说“一只戴着宇航员头盔的橘猫在月球上喝咖啡”几秒钟后一张充满想象力的图片就出现在屏幕上。这听起来像是科幻电影里的场景但现在通过将语音识别和AI绘画结合起来我们完全可以实现它。今天要聊的就是一个特别有意思的玩法把SenseVoice-Small这个轻量又高效的语音识别模型塞进ComfyUI这个强大的可视化AI工作流工具里。这样一来你就不再需要费力地敲键盘写描述词了直接用说话的方式就能驱动Stable Diffusion这样的文生图模型为你创作。对于内容创作者、设计师或者只是单纯想玩点新花样的朋友来说这不仅仅是个酷炫的玩具。它能实实在在地提升创意表达的流畅度当你灵感迸发时用语言描述往往比打字更快、更自然。接下来我就带你一步步看看怎么搭建这个“动口不动手”的创意生成流水线。1. 为什么要把语音识别和AI绘画连起来在深入技术细节之前我们先聊聊这件事儿到底有什么用。你可能已经习惯了在文生图工具里输入一大段精细的提示词Prompt但这本身就有个门槛你需要知道怎么写才能出好图。语音输入的加入改变了这个交互模式。想象一下这些场景快速头脑风暴你在进行创意构思想法一个接一个。用嘴说远比打字快你可以快速尝试“赛博朋克风格的城市夜景霓虹灯下有反光的湿漉漉街道”和“同一场景但换成温暖的手绘童话风格”两种描述即时看到不同结果激发更多灵感。无障碍创作对于不擅长打字或者更习惯口语表达的人来说语音提供了一种更友好的输入方式。动态调整你可以像指导一个画家一样通过语音连续反馈。“画面整体不错但把背景的山换成雪山再加一只飞鸟试试看”这种交互过程更接近自然创作。而选择SenseVoice-Small和ComfyUI的组合是经过考虑的。SenseVoice-Small是一个在精度和效率之间取得很好平衡的语音识别模型对于个人使用或轻量级应用来说足够可靠且资源消耗相对友好。ComfyUI则以其无与伦比的节点式工作流定制能力著称任何模型都可以被抽象成一个“节点”通过“连线”的方式自由组合是实现这种跨模型串联的理想舞台。2. 核心组件与工作流思路要把语音变成图片整个流程其实是一条清晰的流水线我们需要几个关键“工人”协同工作语音输入用户说出描述。语音转文本SenseVoice-Small模型在这里上班它的任务是把音频信号准确、快速地转换成文字描述。文本处理与调度转换后的文字需要被整理并精准地送到下一个环节。这通常需要一个“翻译”或“调度员”角色。文本生成图像Stable Diffusion等文生图模型是最终的“画家”它接收文本描述渲染出对应的图像。流程控制器ComfyUI扮演了整个工厂的“总调度”和“流水线装配工”角色。它用可视化的方式把前面所有“工人”节点连接起来定义数据如何流动。那么在ComfyUI里具体怎么实现呢核心思路是将SenseVoice-Small封装成一个ComfyUI自定义节点。这个节点接收音频文件或实时音频流作为输入在内部调用SenseVoice-Small模型进行推理然后将识别出的文本字符串输出。接着我们只需要将这个文本输出“连线”到文生图模型节点的“正面提示词”Positive Prompt输入框上即可。简单来说我们是在ComfyUI的庞大生态里新增了一个“语音输入”节点从而扩展了其能力边界。3. 搭建你的语音驱动图像生成工作流下面我们进入实践环节。请注意这里会涉及一些基本的Python和ComfyUI插件开发概念但别担心我会尽量讲得直白。3.1 前期准备环境与模型首先确保你的工作环境已经就绪基础环境安装好Python建议3.8以上版本和PyTorch。ComfyUI本身通常已经包含了这些依赖。安装ComfyUI如果你还没安装可以从其官方GitHub仓库下载并按照说明进行安装。它能独立运行不必须依赖其他WebUI。获取SenseVoice-Small模型你需要从ModelScope魔搭社区或Hugging Face等平台下载SenseVoice-Small模型的文件。通常包括模型权重.bin或.pth文件和配置文件config.json等。记住它们的存放路径。3.2 创建ComfyUI自定义语音识别节点这是最关键的一步。我们需要创建一个新的Python文件来定义这个语音节点。找到自定义节点目录在ComfyUI的安装目录下通常会有一个叫custom_nodes的文件夹。所有第三方插件都放在这里。我们在里面新建一个文件夹例如comfyui_sensevoice_node。编写节点代码在该文件夹内创建一个__init__.py文件并写入类似下面的代码。代码的作用是定义一个节点类并在ComfyUI中注册它。# 文件名__init__.py import torch import numpy as np from transformers import AutoModelForSpeechSeq2Seq, AutoProcessor import comfy.sd import comfy.utils import node_helpers import folder_paths import os from typing import Optional # 定义一个函数来加载模型避免重复加载 SENSEVOICE_MODEL None SENSEVOICE_PROCESSOR None def load_sensevoice_model(): global SENSEVOICE_MODEL, SENSEVOICE_PROCESSOR if SENSEVOICE_MODEL is None: model_id SenseVoice-Small # 或你的本地模型路径如 “./models/sensevoice-small” print(f正在加载语音识别模型: {model_id}) # 加载处理器和模型 SENSEVOICE_PROCESSOR AutoProcessor.from_pretrained(model_id) SENSEVOICE_MODEL AutoModelForSpeechSeq2Seq.from_pretrained(model_id) # 将模型移至GPU如果可用并设置为评估模式 device cuda if torch.cuda.is_available() else cpu SENSEVOICE_MODEL.to(device) SENSEVOICE_MODEL.eval() print(语音识别模型加载完毕。) return SENSEVOICE_MODEL, SENSEVOICE_PROCESSOR # 定义我们的自定义节点类 class SenseVoiceASR: classmethod def INPUT_TYPES(s): return { required: { audio_path: (STRING, {default: path/to/your/audio.wav, multiline: False}), }, optional: { language: ([auto, zh, en], {default: auto}), } } RETURN_TYPES (STRING,) # 这个节点输出一个字符串识别出的文本 RETURN_NAMES (text_prompt,) FUNCTION transcribe CATEGORY 语音输入 # 在ComfyUI节点菜单中显示的分类 def transcribe(self, audio_path: str, language: str auto): 核心函数读取音频文件进行语音识别返回文本。 # 检查文件是否存在 if not os.path.exists(audio_path): raise ValueError(f音频文件不存在: {audio_path}) # 加载模型和处理器 model, processor load_sensevoice_model() # 1. 读取音频文件 (这里需要根据你的音频格式调整示例假设是WAV) # 在实际应用中你可能需要使用librosa或soundfile等库来确保兼容性 import librosa speech_array, sampling_rate librosa.load(audio_path, sr16000, monoTrue) # SenseVoice通常期望16kHz采样率 # 2. 处理音频 inputs processor(speech_array, sampling_ratesampling_rate, return_tensorspt) # 将输入数据移到模型所在的设备 device next(model.parameters()).device inputs inputs.to(device) # 3. 生成识别结果 with torch.no_grad(): generated_ids model.generate(**inputs, max_new_tokens256) # 限制生成token数量 # 4. 解码文本 transcription processor.batch_decode(generated_ids, skip_special_tokensTrue)[0] print(f语音识别结果: {transcription}) return (transcription,) # 将节点类加入到ComfyUI的节点列表中 NODE_CLASS_MAPPINGS { SenseVoiceASR: SenseVoiceASR } NODE_DISPLAY_NAME_MAPPINGS { SenseVoiceASR: SenseVoice 语音识别 }代码要点解释INPUT_TYPES: 定义了节点的输入参数。这里我们要求一个音频文件路径并可选指定语言。FUNCTION: 指定当节点执行时调用哪个函数这里的transcribe函数。transcribe函数这是核心。它用librosa读取音频用transformers库加载的SenseVoice模型进行推理最后返回识别文本。注意这是一个简化示例。实际应用中你需要处理更多细节如音频格式转换、模型本地路径配置、错误处理等并可能需要安装librosa,soundfile等音频处理库。安装依赖在自定义节点目录下创建一个requirements.txt文件列出必要的Python库例如transformers4.30.0 librosa0.10.0 soundfile0.12.0然后通过pip install -r requirements.txt安装。3.3 在ComfyUI中组装工作流完成节点开发后重启ComfyUI。你应该在节点菜单的“语音输入”分类下看到新出现的“SenseVoice 语音识别”节点。现在像搭积木一样构建工作流添加语音节点从节点菜单拖出你的SenseVoiceASR节点。配置音频输入在节点的audio_path输入框里填写你想要识别的音频文件绝对路径例如D:/my_audio/describe_image.wav。添加文生图节点拖出你常用的文生图节点例如KSampler或SamplerCustom。连接节点用鼠标从SenseVoiceASR节点的text_prompt输出端口拖出一根线连接到文生图节点的positive正面提示词输入端口。完善工作流别忘了设置好文生图模型加载器CheckpointLoader、VAE、负向提示词Negative Prompt、采样步数、尺寸等参数。你的负向提示词仍然可以手动输入用于固定排除一些不想要的元素。执行与生成点击“Queue Prompt”按钮。ComfyUI会先执行语音识别节点将生成的文本自动填入提示词然后启动文生图流程。最终你就能在输出图像预览区看到由你的语音生成的图片了。3.4 进阶思路从文件到实时语音上面的例子是基于音频文件的。如果你想实现更酷的实时语音输入思路也是通的但需要额外步骤创建音频采集节点开发另一个自定义节点用于从麦克风实时采集音频流并保存为临时音频片段比如每说完一句话保存为一个5秒的WAV文件。动态触发将采集节点的输出连接到SenseVoiceASR节点的audio_path输入。这里可能需要一个能动态更新文件路径的机制。流式识别可选SenseVoice等模型也支持流式识别可以边说话边出中间结果实现更实时的反馈。但这需要更复杂的节点设计和前后端通信例如通过WebSocket。4. 实际效果与优化建议当我第一次成功运行这个工作流时感觉非常奇妙。说一句“浩瀚星空下一座发光的玻璃城堡”等待片刻后一张颇具意境的图片就生成了。这种从声音直接到视觉的转换极大地缩短了创意到原型之间的距离。当然在实际使用中你可能会遇到一些情况这里有一些优化建议识别准确性语音识别的准确率直接决定生成图像的质量。确保录音环境安静吐字清晰。对于专业创作可以先识别再在生成的文本提示词上手动微调、添加细节关键词如“大师级画作8K分辨率”。提示词工程语音识别出的文本通常是口语化的。你可以尝试在语音节点后添加一个“提示词优化”节点例如调用一个LLM如ChatGLM或Qwen将口语描述自动优化成更适合文生图模型的、包含风格和细节的提示词。工作流保存在ComfyUI中搭建好的这个流程可以保存为.json或.png工作流文件。下次使用时直接加载就无需重新搭建了。性能考量同时运行语音识别和大图像生成模型对显卡内存要求较高。如果资源紧张可以考虑使用SenseVoice-Small的量化版本或者将工作流拆解分步执行。5. 总结把SenseVoice-Small语音识别模型集成到ComfyUI构建一个语音驱动的AI图像生成工作流这件事儿做起来比听起来要直观。它本质上就是利用ComfyUI强大的模块化能力把两个原本独立的AI功能听和画串联成了一个创意流水线。这种组合的潜力很大。它不仅仅是一个简单的输入方式替换更打开了一扇新的大门未来我们可以想象更复杂的多模态交互工作流。比如语音描述生成图片后再用语音指令对图片进行局部重绘Inpainting或者结合语音情感分析自动为生成的图片匹配不同的艺术风格和色调。对于开发者来说这是一个很好的示例展示了如何通过ComfyUI自定义节点来无限扩展其生态系统。对于创作者和普通用户这则是一个降低技术门槛、让创意表达更随心的有趣工具。如果你已经熟悉ComfyUI的基本操作不妨尝试动手实现一下这个流程亲自体验一下“言出法随”的创作乐趣。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。