【ComfyUI】Qwen-Image-Edit-F2P 与YOLOv8集成实践：人脸检测后的智能图像编辑

ComfyUI实战用YOLOv8Qwen-Image-Edit-F2P打造智能人像编辑管线最近在玩ComfyUI的时候我一直在想能不能把那些独立的AI能力像搭积木一样组合起来做成一个更智能的流程比如先让模型“看懂”图片里有什么再针对性地进行编辑。这个想法在遇到多人合影修图时特别强烈——手动框选每个人脸太麻烦了要是能自动识别再处理该多好。于是我尝试把目标检测的“火眼金睛”和图像生成的“妙笔生花”结合到一起。具体来说就是用YOLOv8快速准确地找出照片中的每一张脸然后交给Qwen-Image-Edit-F2P让它对指定的人脸进行风格化调整或替换。下面就把这套在ComfyUI里搭建智能人像编辑管线的实践过程分享给大家你会发现让AI协作干活效率提升不止一点点。1. 核心思路与准备工作在开始搭建工作流之前我们先搞清楚两个核心组件是如何协同工作的。YOLOv8是目前比较流行的目标检测模型速度快、精度高特别擅长在复杂场景里找出特定目标比如人脸。它的任务就是当一张合影输入后迅速告诉我们“图片里有5个人他们的脸分别在这几个位置。”Qwen-Image-Edit-F2P则是一个基于Qwen-VL的图像编辑模型。它可以根据文字指令对图片的指定区域进行编辑。比如你说“把第二个人脸换成漫画风格”它就能在对应位置生成一个漫画风格的脸。整个管线的逻辑就很清晰了输入一张多人合影。检测YOLOv8分析图片输出所有人脸的位置信息边界框坐标。选择与编辑我们从中选择一个或几个人脸区域结合文字指令如“微笑亚洲男性黑发”发送给Qwen-Image-Edit-F2P。输出得到一张只有指定人脸被修改其他部分保持原样的新图片。听起来是不是挺简单的但在ComfyUI里实现它需要解决一个关键问题ComfyUI本身不直接运行YOLOv8这类Python脚本我们需要一个“桥梁”来沟通。1.1 环境与模型准备首先确保你的ComfyUI环境已经就绪。然后需要准备两个关键的模型文件YOLOv8模型权重我们需要一个专门检测人脸的模型。可以去Ultralytics的官方GitHub仓库下载预训练的YOLOv8模型例如yolov8n-face.pt轻量级人脸检测专用模型或yolov8s.pt通用模型也包含人脸类别。把它放在你方便调用的目录下比如ComfyUI/models/yolov8/。Qwen-Image-Edit-F2P模型这个模型通常以ComfyUI自定义节点的形式提供或者需要你根据其项目说明配置到ComfyUI的模型目录中。请确保它已正确安装并可以单独在ComfyUI工作流中运行。最重要的准备因为我们要在ComfyUI中调用外部Python脚本来运行YOLOv8所以需要提前在系统的Python环境或ComfyUI的Python环境中安装YOLOv8的库。打开你的终端命令行执行以下命令pip install ultralytics opencv-python这行命令会安装YOLOv8的核心库以及OpenCV用于图像处理。2. 构建ComfyUI工作流从检测到编辑ComfyUI的工作流是可视化的但背后的数据流需要精心设计。我们把它拆解成几个核心步骤来构建。2.1 第一步图像输入与YOLOv8检测调用首先我们从加载图片开始。在ComfyUI中使用Load Image节点读入我们的合影。接下来就是关键环节调用YOLOv8。由于ComfyUI没有原生节点我们需要用Custom Script节点或者能执行Python代码的节点如ComfyUI-Custom-Scripts系列节点中的Python节点。这里我以使用一个能调用外部脚本的节点为例。你需要创建一个Python脚本例如run_yolov8_detection.py。这个脚本的职责是接收来自ComfyUI节点的图片路径。使用YOLOv8加载我们准备好的模型(yolov8n-face.pt)对图片进行推理。检测所有人脸并提取它们的边界框坐标通常是[x1, y1, x2, y2]格式即左上角和右下角坐标。将这些坐标信息可能还有置信度分数整理成ComfyUI后续节点能理解的格式比如一个列表。脚本示例要点# run_yolov8_detection.py 示例核心逻辑 from ultralytics import YOLO import cv2 import json import sys def detect_faces(image_path, model_pathmodels/yolov8/yolov8n-face.pt): # 加载模型 model YOLO(model_path) # 运行推理 results model(image_path) # 解析结果 faces [] for result in results: for box in result.boxes: # 假设类别0是人脸根据你的模型类别定义确认 if int(box.cls) 0: # 获取坐标 (xyxy格式) x1, y1, x2, y2 box.xyxy[0].tolist() conf box.conf[0].item() faces.append({ bbox: [x1, y1, x2, y2], confidence: conf }) # 将结果输出例如打印到标准输出供ComfyUI捕获 print(json.dumps(faces)) if __name__ __main__: image_path sys.argv[1] # 从命令行参数获取图片路径 detect_faces(image_path)在ComfyUI中你可以用CLIP Text Encode节点拼接一个系统命令字符串或者使用专门的Command节点来执行python run_yolov8_detection.py /path/to/your/image.jpg并捕获其打印的JSON输出。捕获到的坐标列表就是连接后续环节的“数据桥梁”。2.2 第二步人脸区域选择与预处理YOLOv8可能检测出多个人脸。我们需要一种方式让用户选择想要编辑哪一个。在ComfyUI中一个简单的办法是使用Primitive节点如整数输入滑块让用户输入索引例如0代表第一个检测到的人脸1代表第二个以此类推。拿到用户选择的索引和YOLOv8输出的坐标列表后我们需要提取出对应的那个边界框。这可能需要另一个小的Custom Script节点来处理输入是坐标列表和索引输出是单一的[x1, y1, x2, y2]列表。同时Qwen-Image-Edit-F2P模型通常需要掩码Mask来指定编辑区域。我们可以利用这个边界框坐标在ComfyUI里生成一个矩形掩码。ComfyUI有Mask相关的节点如Mask from Shape可以根据坐标创建掩码。将原图和这个掩码图准备好作为编辑模型的输入。2.3 第三步Qwen-Image-Edit-F2P智能编辑现在我们有了原始图片来自最初的Load Image。区域掩码上一步生成的、对应选定人脸的矩形掩码。文本指令用户想要如何编辑的提示词比如“将其替换为一位戴着眼镜、面带微笑的年轻女性面孔”。将这些输入连接到Qwen-Image-Edit-F2P的对应节点。这个模型会根据掩码定位结合你的文字描述在目标区域内生成全新的人脸图像并尽可能自然地与周围背景融合。2.4 第四步结果输出与调优最后将Qwen-Image-Edit-F2P输出的图像连接到Preview Image或Save Image节点就能看到最终效果了。初次运行效果可能不完美这里有几个调优点YOLOv8参数在检测脚本中可以调整置信度阈值(conf)过滤掉不可靠的检测框避免框选错误区域。掩码羽化生成矩形掩码后可以尝试使用GrowMask或BlurMask节点对掩码边缘进行轻微羽化这有助于编辑区域与背景过渡更自然。提示词工程给Qwen-Image-Edit-F2P的提示词需要尽可能精确。除了描述长相还可以加入光线、角度、肤色等与原图协调的约束比如“保持与原图一致的光照角度和肤色基调”。3. 应用场景与效果展望把YOLOv8和Qwen-Image-Edit-F2P这样串起来用打开了不少有趣的应用场景合影修复与美化快速定位并修复闭眼、表情不佳的特定人物而无需手动涂抹或复杂PS。风格化集体照为团队照中的每个成员生成不同艺术风格漫画风、油画风、科幻风的脸部制作创意海报。隐私保护处理在需要分享的合影中自动识别并模糊或替换非核心人物的脸部。角色概念图生成先拍一张多人场景草图检测出人物位置后批量生成不同角色的脸部设计。实际跑起来你会发现这种管线化的操作其效率优势在于“批处理”潜力。一旦工作流搭建完成你可以轻松处理一批合影只需更换输入图片和选择不同的人脸索引无需重复进行繁琐的初始框选操作。4. 总结这次在ComfyUI里折腾YOLOv8和Qwen-Image-Edit-F2P的集成更像是一次“AI工具链”的组装练习。它证明了通过简单的脚本桥接和清晰的数据流设计我们就能把不同专长的模型组合成更强大的解决方案。核心的收获有两点一是规划好数据尤其是坐标和掩码在不同节点间的传递格式这是管线畅通的关键二是理解每个模型的输入输出YOLOv8给位置Qwen负责根据位置和文字进行创作分工明确。当然目前这个流程还有些粗糙比如人脸选择交互可以做得更可视化如点选异常处理未检测到人脸也需要加强。但这已经是一个很好的起点。你可以在此基础上尝试集成更精细的人脸关键点检测来生成更贴合脸型的掩码或者换用其他图像编辑模型探索更多的玩法。AI绘画的魅力就在于这种自由组合和创造的可能性。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。