ComfyUI可视化流程集成：SenseVoice-Small语音识别节点开发教程

ComfyUI可视化流程集成SenseVoice-Small语音识别节点开发教程你是不是已经用ComfyUI玩转各种文生图、图生图甚至搭建了复杂的AI绘画工作流有没有想过如果能让你的工作流“听懂”语音指令或者自动把一段播客、会议录音转成文字再交给AI去生成对应的画面那该多酷今天我们就来点不一样的。不聊怎么用现成的节点而是教你如何自己动手在ComfyUI里“造”一个节点。我们要造的是一个能集成SenseVoice-Small语音识别模型的节点。SenseVoice-Small是一个轻量但效果不错的语音转文字模型把它塞进ComfyUI你的工作流就能直接从音频里提取文本开启“声控作画”或者“音频驱动内容生成”的新玩法。听起来有点技术含量别担心这篇教程就是给ComfyUI的“高级玩家”准备的。我们会从零开始一步步带你走通自定义节点开发的全过程。你不需要是Python大神但需要对ComfyUI的节点系统有基本了解并且愿意动手敲点代码。学完这篇你不仅能拥有一个语音识别节点更重要的是你会掌握在ComfyUI里创造任何你想要的功能节点的能力。1. 开发前的准备理清思路与环境搭建在开始写代码之前我们得先想明白这个节点要干什么以及需要准备哪些东西。简单来说我们的目标是创建一个ComfyUI节点它接收一个音频文件的路径作为输入调用SenseVoice-Small模型进行识别最后输出识别出的文本字符串。为了实现这个目标我们需要搞定三件事模型本身如何让Python代码调用SenseVoice-Small。节点框架如何遵循ComfyUI的规则创建一个能被识别和使用的节点。流程集成如何设计输入输出让这个节点能无缝嵌入到其他工作流中。1.1 环境与依赖安装首先确保你的ComfyUI运行环境是正常的。然后我们需要安装SenseVoice-Small模型所依赖的Python包。打开你的终端或ComfyUI启动命令所在的环境执行以下命令pip install torch torchaudio --index-url https://download.pytorch.org/whl/cu118 # 如果你用CUDA 11.8 pip install modelscope funasr这里解释一下torch和torchaudioPyTorch深度学习框架及其音频处理库是模型运行的基础。modelscope和funasrModelScope是阿里开源的模型社区FunASR是专注于语音识别的工具包。SenseVoice-Small模型可以通过它们方便地加载和使用。安装完成后建议你单独写一个小的Python脚本测试一下模型是否能正常加载和推理确保基础环境没问题。1.2 理解ComfyUI节点的基础结构ComfyUI的节点本质上是一个Python类。这个类必须定义一些特定的方法和属性ComfyUI的图形化界面才能识别它、渲染它。最核心的几个部分包括FUNCTION一个字符串属性指定节点执行的主函数名。CATEGORY一个字符串属性决定这个节点在节点菜单中被归类到哪个目录下比如”audio”或”custom_nodes”。RETURN_TYPES和RETURN_NAMES这两个属性定义了节点的输出。RETURN_TYPES是一个元组指定每个输出的数据类型如”STRING”RETURN_NAMES也是一个元组给每个输出起一个显示名称。INPUT_TYPES静态方法这个方法返回一个字典用来定义节点的所有输入参数也就是那些可以连接线的小插座。字典的键是参数名值是这个参数的配置比如类型、默认值等。一个主执行方法方法名由FUNCTION属性指定。这个方法接收INPUT_TYPES中定义的参数执行核心逻辑并返回一个元组其元素顺序和类型要与RETURN_TYPES严格对应。理清了这些我们就可以开始动手创建了。2. 核心代码编写从模型调用到节点封装接下来我们进入核心环节一步步构建我们的SenseVoiceSmall节点。2.1 创建节点文件与目录结构在ComfyUI的安装目录下有一个custom_nodes文件夹。所有第三方节点都放在这里。我们在其中创建一个属于自己的目录比如comfyui-sensevoice-node。ComfyUI/ ├── custom_nodes/ │ └── comfyui-sensevoice-node/ │ ├── __init__.py │ └── nodes.py ├── ...__init__.py可以是一个空文件它告诉Python这个目录是一个包。nodes.py我们将在这里编写节点的所有代码。2.2 编写节点类代码打开nodes.py开始编写代码。我会分段解释你可以跟着一起写。第一部分导入依赖和定义节点类import torch import torchaudio from modelscope.pipelines import pipeline from modelscope.utils.constant import Tasks import os import numpy as np import folder_paths import comfy.utils class SenseVoiceSmall: ComfyUI自定义节点使用SenseVoice-Small模型进行语音识别。 输入音频文件路径输出识别文本。 # 定义节点在ComfyUI中的行为标识 FUNCTION “process_audio” # 定义节点在菜单中的分类可以自定义这里放在“audio”类别 CATEGORY “audio” # 定义输出类型这里只有一个字符串输出 RETURN_TYPES (“STRING”,) # 定义输出名称方便在界面上识别 RETURN_NAMES (“text”,) # 模型管道对象作为类变量实现懒加载第一次使用时加载 _pipe None这里我们导入了必要的库并定义了节点类SenseVoiceSmall。注意FUNCTION和CATEGORY的设置。_pipe是一个类变量用于缓存加载的模型管道避免每次执行节点都重新加载模型这很耗时。第二部分定义输入参数 (INPUT_TYPES)staticmethod def INPUT_TYPES(): # 获取ComfyUI中预设的输入目录如input文件夹 input_dir folder_paths.get_input_directory() # 扫描该目录下的音频文件 audio_files [f for f in os.listdir(input_dir) if f.lower().endswith((‘.wav’, ‘.mp3’, ‘.flac’, ‘.m4a’))] return { “required”: { “audio_file”: (audio_files, {“default”: audio_files[0] if audio_files else “”}), # 下拉选择框 }, “optional”: { “language”: ([“auto”, “zh”, “en”], {“default”: “auto”}), # 可选语言参数 } }INPUT_TYPES方法返回一个字典定义了节点的输入插座。”required”字典里是必须连接的参数。这里我们定义了一个audio_file参数类型是列表audio_files这会让ComfyUI将它渲染成一个下拉选择框列出input文件夹下的所有音频文件。”optional”字典里是可选的参数。这里我们添加了一个language参数让用户可以选择识别语言自动、中文、英文。第三部分实现模型加载与推理 (process_audio)def process_audio(self, audio_file, language“auto”): 核心处理函数加载音频并调用模型进行识别。 # 1. 构建完整的音频文件路径 input_dir folder_paths.get_input_directory() audio_path os.path.join(input_dir, audio_file) # 2. 检查文件是否存在 if not os.path.exists(audio_path): raise FileNotFoundError(f“音频文件未找到: {audio_path}”) # 3. 懒加载模型管道 if SenseVoiceSmall._pipe is None: print(“[SenseVoiceSmall] 正在加载模型首次使用可能需要一些时间...”) try: # 使用ModelScope的pipeline加载SenseVoice-Small模型 SenseVoiceSmall._pipe pipeline( taskTasks.auto_speech_recognition, model“iic/SenseVoiceSmall”, device“cuda:0” if torch.cuda.is_available() else “cpu”, ) print(“[SenseVoiceSmall] 模型加载完毕。”) except Exception as e: print(f“[SenseVoiceSmall] 模型加载失败: {e}”) return (“模型加载失败请检查依赖和环境。”,) # 4. 执行语音识别 print(f“[SenseVoiceSmall] 正在识别: {audio_file}, 语言: {language}”) try: # 调用管道进行识别传入语言参数 rec_result SenseVoiceSmall._pipe( audio_inaudio_path, batch_size_s300, # 批处理大小影响内存和速度 languagelanguage if language ! “auto” else None, # 模型内部处理auto ) # 提取识别文本 recognized_text rec_result.get(“text”, “”) print(f“[SenseVoiceSmall] 识别完成: {recognized_text[:50]}...” if len(recognized_text) 50 else f”...“) except Exception as e: print(f“[SenseVoiceSmall] 识别过程出错: {e}”) recognized_text f“识别出错: {e}” # 5. 返回结果必须是一个元组且与RETURN_TYPES对应 return (recognized_text,)这是节点的核心逻辑拼接出音频文件的绝对路径。进行基本的文件检查。懒加载模型只有第一次运行节点时才会加载模型后续调用会复用极大提升工作流执行效率。调用pipeline进行语音识别。batch_size_s参数可以根据你的硬件调整值越大处理越快但占用内存越多。从结果中提取文本并返回。返回的必须是一个元组(recognized_text,)。第四部分节点注册与额外功能为了让ComfyUI发现我们的节点需要在文件末尾添加一个节点列表。# 所有自定义节点都必须在这个列表中声明 NODE_CLASS_MAPPINGS { “SenseVoiceSmall”: SenseVoiceSmall } # 节点显示名称的映射可选 NODE_DISPLAY_NAME_MAPPINGS { “SenseVoiceSmall”: “SenseVoice Small 语音识别” }至此一个功能完整的自定义节点就编写完成了。将nodes.py文件保存。3. 测试与集成让节点跑起来代码写好了但它真的能在ComfyUI里用吗我们来测试一下。3.1 启动ComfyUI并查找节点重启你的ComfyUI服务。如果之前是启动状态需要关闭后重新运行python main.py。打开ComfyUI的Web界面。在节点菜单中找到我们定义的CATEGORY也就是”audio”分类。你应该能看到一个名为”SenseVoice Small 语音识别”的节点如果你设置了NODE_DISPLAY_NAME_MAPPINGS或者直接叫”SenseVoiceSmall”。把它拖到画布上。3.2 配置节点并运行准备音频将你想要识别的音频文件如my_audio.wav放入ComfyUI根目录下的input文件夹。配置节点点击画布上的SenseVoiceSmall节点在右侧的属性面板中audio_file下拉框里应该会出现你刚放入的my_audio.wav文件选择它。你还可以选择识别语言。连接输出从节点的输出插座text拉出一根线可以连接到一个Show Text节点用于在界面上显示文本或者连接到任何其他接受字符串输入的节点比如一个CLIP Text Encode节点为文生图提供提示词执行点击Queue Prompt按钮。在后台终端里你应该能看到模型加载和识别的打印信息。稍等片刻识别出的文本就会传递到下游节点。3.3 集成到复杂工作流这才是自定义节点的魅力所在。现在你可以发挥创意构建自动化流程了声控AI绘画麦克风录音-保存音频到input文件夹-SenseVoiceSmall节点-CLIP文本编码器-K采样器。对着麦克风说“一只在星空下奔跑的狐狸”工作流就能自动生成这幅画。播客内容可视化将一段播客音频切片批量通过SenseVoiceSmall节点转成文字再将每一段文字描述生成对应的概念图快速制作播客的图文摘要。视频配音字幕提取与重绘从视频中提取音频识别成字幕文本再用文本分析节点提取关键词生成新的配图或视频风格化素材。4. 进阶优化与问题排查一个能跑的节点是基础一个健壮、好用的节点才是目标。这里有一些进阶建议。4.1 提升节点健壮性我们的基础代码已经包含了错误处理但还可以加强音频格式兼容可以集成pydub或ffmpeg库在节点内部自动转换不支持的音频格式为WAV格式再交给模型处理。进度提示对于长音频模型处理需要时间。可以尝试利用ComfyUI的进度条功能给用户更友好的反馈。模型配置化将model“iic/SenseVoiceSmall”这类参数也放到INPUT_TYPES中作为可选参数让高级用户可以切换不同的模型版本。4.2 常见问题与解决节点不显示检查custom_nodes目录结构是否正确nodes.py文件名是否拼写准确NODE_CLASS_MAPPINGS字典是否正确。重启ComfyUI。模型加载失败检查网络首次加载需要从ModelScope下载模型。检查modelscope和funasr版本兼容性。查看终端完整的错误信息。识别结果为空或乱码检查音频文件是否损坏或是否为静音文件。尝试调整language参数明确指定”zh”或”en”。对于嘈杂环境下的音频识别效果会下降这是模型本身的限制。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。