[ComfyUI] 最新控制模型EasyControl，吉卜力风格一键转绘

一、EasyControl介绍

玩ComfyUI的都知道Controlnet的重要性，可以根据约束来引导图片的生成，这也是ComfyUI商业化里面很重要的一环。

不过之前我们用的Controlnet都是基于Unet技术框架下的。
最近出的这个EasyControl有点不一样，是基于DiT（ Diffusion Transformer）的创新框架。

EasyControl 是一个基于 Diffusion Transformer 的创新框架，通过轻量级条件注入模块、位置感知训练范式和因果注意机制实现高效灵活的多条件控制图像生成。

EasyControl提供的模型提供多，可以实现如下几个功能：

• Canny线稿
• depth深度
• pose姿势
• inpainting局部重绘
• subject主体参考
• Ghibli吉卜力风格

• 项目主页：https://easycontrolproj.github.io/

• GitHub：https://github.com/Xiaojiu-z/EasyControl

• 在线体验：https://huggingface.co/spaces/jamesliu1217/EasyControl

二、相关安装

插件地址：https://github.com/jax-explorer/ComfyUI-easycontrol

不过我看了下，这个插件想玩需要40G的显存，开启了CPU offload选项后也要24G显存才能用， flux模型自动下载后也需要50G的空间。

有点得不偿失本地，大部分也玩不来，大家这次主要用线上环境去玩玩就好。

lora模型下载地址：https://huggingface.co/Xiaojiu-Z/EasyControl/tree/main/models

存放路径：/ComfyUI/models/loras

三、使用说明

工作流下载：https://www.runninghub.cn/post/1911711182053670913?inviteCode=kol01-rh024

单CN控制

我们来试试单个的控制效果

工作流如下:

吉卜力风格控制

最近比较火的吉卜力风格转绘的，在EasyControl中也有一个对应的模型。

Ghibli Studio style, charming hand drawn anime style illustration

感觉不错，就是出图很慢，要3-5分钟才出一张图。

线稿控制

这里只是把lora替换成了canny模型，然后把图片使用canny预处理一下即可，提示词的话通过反推一张图片得出。

其他比如open和depth的都类似，就不一一演示了。

多CN控制

我们来看看多CN如何组合的，比如想迁移一个物体到另外一张图上

这里一共需要用到 inpaint和subjecet这2个模型。

工作流如下：

多主体的话核心就是 lora选择多个，改成用下面这个节点就行

A SKS on the car

四、在线使用

云端镜像

大家如果没有本地 ComfyUI 环境，或者本地显卡配置低于 16G 的，可以使用嘟嘟部署的仙宫云镜像，可直接加载使用。后续分享的工作流都会更像到镜像中，一周更新一次，方便大学学习。

目前整合了2个镜像，一个是Flux绘图用的，另外一个是针对视频模型的，之所以分开是一些模型兼容问题，分开比较好处理。

镜像名称：嘟嘟AI绘画趣味学

云平台镜像地址：

https://www.xiangongyun.com/image/detail/d961a7dc-ade3-4bd5-a7c6-92ac49ff5e4b?r=37BCLY

https://www.xiangongyun.com/image/detail/81716d29-4461-4b0b-ba4b-7b9b7dd569d3?r=37BCLY

新用户通过邀请码注册，总共可获得 8 元奖励，体验 4 个小时的 4090 作图时长。

RH平台

推荐不想本地自己折腾的同学一个可在线使用Runninghub平台可在线体验AI应用和工作流（注册即送1000积分可用）。

https://www.runninghub.cn/?inviteCode=kol01-rh024

主页更多精彩工作流可在线体验： https://www.runninghub.cn/user-center/1865434314359058434?inviteCode=kol01-rh024

五、总结

以上就是最新的控制器EasyControl使用测评了，效果还不错，但是目前对配置要求太高了，还是期待后期能把要求降低，不然再好的东西也没法用。

AI时代，值得我们去投入时间研究。

技术的迭代是飞快的，要关注最新的消息才不会掉队。​

嘟嘟每天分享最新的ComfyUI技术前沿。​

我是嘟嘟，专注于 AI 绘画以及 AI 工具分享，欢迎来一起交流。​

如果觉得文章有帮助，请帮忙点赞收藏关注一下呦~​