当前位置： 首页 > news >正文

CV前沿方向：Visual Prompting 视觉提示工程下的范式

news 2026/5/23 5:13:43

prompt在视觉领域，也越来越重要，在图像生成，作为一种可控条件，增进交互和可控性，在多模态理解方面，指令prompt也使得任务灵活通用。视觉提示工程，已然成为CV一个前沿方向！

下面来看看最新的两篇论文，了解一下视觉提示的应用！

Visual Instruction Inversion: Image Editing via Visual Prompting

文本条件的图像编辑已经成为一种强大的图像编辑工具。

然而，在许多情况下，语言描述图像编辑具有歧义性和低效性。面对这些挑战时，视觉提示可以更直观和准确地传达所需的编辑内容。

本文提出了一种通过视觉提示进行图像编辑的方法。通过给定代表编辑的“之前”和“之后”图像的示例对，方法学习一个基于文本的编辑方向，用于在新图像上执行相同的编辑。利用文本到图像扩散模型的丰富预训练编辑能力，将视觉提示转化为编辑指令。

结果表明，即使只有一个示例对，也可以获得与最先进的文本条件图像编辑框架相竞争的结果。https://thaoshibe.github.io/visii/

065a03f5718e215b6c2c6af8dcd21e6f.png

A Systematic Survey of Prompt Engineering on Vision-Language Foundation Models

Prompt engineering是一种技术，它通过增加大型预训练模型与针对特定任务的提示（即prompt）来适应新任务。提示可以手动创建为自然语言指令，也可以自动生成为自然语言指令或向量表示。

Prompt engineering使得仅依靠提示就可以进行预测，而无需更新模型参数，并且更容易将大型预训练模型应用于任务。

在过去的几年里，Prompt engineering在自然语言处理领域得到了广泛研究。然而，目前缺乏关于预训练视觉语言模型上Prompt engineering的系统综述。本文旨在对三种类型的视觉语言模型（包括多模态生成模型、图像-文本匹配模型和文本-图像生成模型）上的Prompt engineering的前沿研究进行全面的调查。对于每种模型，概述了模型简介、提示方法、基于提示的应用以及相关的责任和完整性问题。

此外，还讨论了视觉语言模型、语言模型和视觉模型上的Prompt engineering的共性和差异。总结了挑战、未来方向和研究机会，以促进未来关于这个方向研究。

1087ab1163aea59e2e4d130911c362cd.png

关注公众号【机器学习与AI生成创作】，更多精彩等你来读

卧剿，6万字！30个方向130篇！CVPR 2023 最全 AIGC 论文！一口气读完

深入浅出stable diffusion：AI作画技术背后的潜在扩散模型论文解读

深入浅出ControlNet，一种可控生成的AIGC绘画生成算法！ 

经典GAN不得不读：StyleGAN

4e3e7c15d4a9b1576d005058ff4e1d73.png 戳我，查看GAN的系列专辑~！

一杯奶茶，成为AIGC+CV视觉的前沿弄潮儿！

最新最全100篇汇总！生成扩散模型Diffusion Models

ECCV2022 | 生成对抗网络GAN部分论文汇总

CVPR 2022 | 25+方向、最新50篇GAN论文

 ICCV 2021 | 35个主题GAN论文汇总

超110篇！CVPR 2021最全GAN论文梳理

超100篇！CVPR 2020最全GAN论文梳理

拆解组新的GAN：解耦表征MixNMatch

StarGAN第2版：多域多样性图像生成

附下载 | 《可解释的机器学习》中文版

附下载 |《TensorFlow 2.0 深度学习算法实战》

附下载 |《计算机视觉中的数学方法》分享

《基于深度学习的表面缺陷检测方法综述》

《零样本图像分类综述: 十年进展》

《基于深度神经网络的少样本学习综述》

《礼记·学记》有云：独学而无友，则孤陋而寡闻

点击一杯奶茶，成为AIGC+CV视觉的前沿弄潮儿！，加入 AI生成创作与计算机视觉 知识星球！

相关文章：

CV前沿方向：Visual Prompting 视觉提示工程下的范式

prompt在视觉领域，也越来越重要，在图像生成，作为一种可控条件，增进交互和可控性，在多模态理解方面，指令prompt也使得任务灵活通用。视觉提示工程，已然成为CV一个前沿方向！ 下面来看看…...

编程日记 2023/7/31 3:01:22

Redis五大基础类型解析

1.String类型 特征：即存储字符串的类型，单个字符串存储量最大不超过512MB 常用业务场景：⽤来存储JSON序列化之后对象 底层编码： int编码 数据结构特点：ptr指针直接指向字符串常量池中对应字符串地址，而…...

编程日记 2023/7/31 3:00:18

在CSDN学Golang云原生（服务网格istio）

一&#xff0c;在Kubernetes上部署istio 在Kubernetes上部署istio&#xff0c;可以按照以下步骤进行&#xff1a; 安装Istio 使用以下命令从Istio官网下载最新版本的Istio&#xff1a; curl -L https://istio.io/downloadIstio | ISTIO_VERSION<VERSION> sh - 其中&…...

编程日记 2023/7/31 2:59:17

Golang 获取本地 IP 地址方法

在 Golang 中&#xff0c;使用 net 包可以很方便地获取到本机IP地址。 借助 net.InterfaceAddrs 方法 简单示例代码如下&#xff1a; package mainimport ("fmt""net" )func main() {addrList, err : net.InterfaceAddrs()if err ! nil {panic(err)}for…...

编程日记 2023/7/31 2:58:15

抖音seo短视频账号矩阵系统技术开发简述

说明&#xff1a;本开发文档适用于抖音seo源码开发&#xff0c;抖音矩阵系统开发&#xff0c;短视频seo源码开发&#xff0c;短视频矩阵系统源码开发 一、 抖音seo短视频矩阵系统开发包括 抖音seo短视频账号矩阵系统的技术开发主要包括以下几个方面&#xff1a; 1.前端界面设…...

编程日记 2023/7/31 2:57:14

运维高级--shell脚本完成分库分表

为什么要进行分库分表 随着系统的运行&#xff0c;存储的数据量会越来越大&#xff0c;系统的访问的压力也会随之增大&#xff0c;如果一个库中的表数据超过了一定的数量&#xff0c;比如说MySQL中的表数据达到千万级别&#xff0c;就需要考虑进行分库分表&#xff1b; 其…...

编程日记 2023/7/31 2:56:13

Mysql 忘记密码怎么重置密码（详细步骤）

每种方法都有其适用的情况&#xff0c;根据具体情况选择合适的方法。无论选择哪种方法&#xff0c;请务必在重置密码后及时删除临时用户并重新启动 MySQL 服务。 一、使用 mysqladmin 重置密码 停止服务 # systemctl 启动的使用这个停止 $ sudo systemctl stop mysql# mac 本机…...

编程日记 2023/7/31 2:55:12

机器学习深度学习——图像分类数据集

&#x1f468;‍&#x1f393;作者简介&#xff1a;一位即将上大四&#xff0c;正专攻机器学习的保研er &#x1f30c;上期文章&#xff1a;机器学习&&深度学习——softmax回归&#xff08;下&#xff09; &#x1f4da;订阅专栏&#xff1a;机器学习&&深度学习…...

编程日记 2023/7/31 2:54:11

【PWN · 栈迁移】[BUUCTF]ciscn_2019_es_2

第一道栈迁移题目&#xff0c;跌跌撞撞理解了 前言 当前溢出可用空间比较少时&#xff08;极端情况下仅能覆写ebp和ret&#xff09;&#xff0c;可以通过栈迁移的方式&#xff0c;扩大shellcode的容纳空间&#xff0c;其核心是将esp移动到一段shellocode开头。而esp总是由ebp赋…...

编程日记 2023/7/31 2:53:10

网络编程(13): 网络通信常用命令（后续待补充）

ifconfig 一般用于查看网卡信息 ping 一般用于侦测本机到目标网络主机的网络是否通常: ping ip/域名 telnet 可以用于指定ip地址和端口的侦听服务是否存在&#xff1a;telnet ip port, 也可以模拟客户端给服务器发数据 netstat 用于查看网络连接状态 -a: 显示所有选项 -t&#…...

编程日记 2023/7/31 2:52:08

flask创建数据库连接池

flask创建数据库连接池 在Python中&#xff0c;您可以使用 Flask-SQLAlchemy 这个扩展来创建一个数据库连接池。Flask-SQLAlchemy 是一个用于 Flask 框架的 SQLAlchemy 操作封装&#xff0c;实现了 ORM(Object Relational Mapper)。ORM 主要用于将类与数据库中的表建立映射关系…...

编程日记 2023/7/31 2:51:06

C语言手撕顺序表

目录 一、概念 1、静态顺序表&#xff1a;使用定长数组存储元素。 2、动态顺序表&#xff1a;使用动态开辟的数组存储 二、接口实现 1、对顺序表的初始化 2、对数据的销毁 3、对数据的打印 4、检查是否需要扩容 5、尾插 6、头插 7、尾删 8、头删 9、在pos位置插入x …...

编程日记 2023/7/31 2:50:05

常见的排序算法

常见的排序算法 常见的排序算法包括&#xff1a; 冒泡排序&#xff08;Bubble Sort&#xff09;&#xff1a;依次比较相邻的元素&#xff0c;将较大的元素交换到右侧&#xff0c;逐步将最大元素移动到末尾。插入排序&#xff08;Insertion Sort&#xff09;&#xff1a;将数组…...

编程日记 2023/7/31 2:49:04

C#如何使用SQLite数据库？

文章目录 0.引言1.SQLite工具准备2.创建窗体项目并添加SQLite的命名空间3.编写使用SQLite代码4.结果展示 0.引言 SQLite是一个轻量级的嵌入式数据库&#xff0c;它的库文件非常小巧&#xff0c;不需要独立的服务器进程或配置。这使得它非常适合在资源受限的环境中使用&#xff…...

编程日记 2023/7/31 2:48:03

如何将表格中的状态数据转换为Tag标签显示

考虑到系统前端页面的美观程度&#xff0c;通常通过Tag标签来代替某条数据中的状态信息。仅通过一点操作&#xff0c;便能够使得页面美观程度得到较大提升&#xff0c;前后对比如下所示。代码基于Vue以及Element-ui组件实现。 修改前&#xff1a; 修改后&#xff1a; 修改前…...

编程日记 2023/7/31 2:47:02

centos中修改防火墙端口开放配置

1、直接进入文件修改 vim /etc/sysconfig/iptables 2、添加需要开放的端口 &#xff08;1&#xff09;添加需要开放的单个端口 4001 -A INPUT -m state --state NEW -m tcp -p tcp --dport 4001 -j ACCEPT &#xff08;2&#xff09;添加需要开放的某个网段端口 4001:4020 …...

编程日记 2023/7/31 2:46:01

程序设计 算法基础

✅作者简介&#xff1a;人工智能专业本科在读&#xff0c;喜欢计算机与编程&#xff0c;写博客记录自己的学习历程。 &#x1f34e;个人主页&#xff1a;小嗷犬的个人主页 &#x1f34a;个人网站&#xff1a;小嗷犬的技术小站 &#x1f96d;个人信条&#xff1a;为天地立心&…...

编程日记 2023/7/31 2:45:00

【数据结构】之十分好用的“链表”赶紧学起来！(第一部分单向链表）

&#x1f490; &#x1f338; &#x1f337; &#x1f340; &#x1f339; &#x1f33b; &#x1f33a; &#x1f341; &#x1f343; &#x1f342; &#x1f33f; &#x1f344;&#x1f35d; &#x1f35b; &#x1f364; &#x1f4c3;个人主页 &#xff1a;阿然成长日记 …...

编程日记 2023/7/31 2:43:59

ubuntu开机自启动

ubuntu开机自启动 1、建一个test.sh脚本&#xff0c;并写入 #!/bin/sh gnome-terminal -x bash -c ‘cd /home/文件路径/;python3 main.py’ exit 0 2、:wq!保存 3、创建rc-local.service文件&#xff08;sudo vim /etc/systemd/system/rc-local.service&#xff09;&#xf…...

编程日记 2023/7/31 2:42:58

Git将其他分支合并至主分支

主要思想&#xff1a; 把分支代码合并到master&#xff0c;合给谁&#xff0c;就先切换到谁的分支 1. 当前分支是dev&#xff0c;开发完成后&#xff0c;需要合并到master分支 先把该提交的提交&#xff0c;需要push的push完成后&#xff0c;再切换分支。 否则也会告诉你要提交…...

编程日记 2023/7/31 2:41:57

Vue3拖拽缩放组件：如何用5分钟为你的应用添加专业级交互体验

Vue3拖拽缩放组件&#xff1a;如何用5分钟为你的应用添加专业级交互体验 【免费下载链接】vue3-draggable-resizable [Vue3 组件] 用于拖拽调整位置和大小的的组件&#xff0c;同时支持元素吸附对齐&#xff0c;实时参考线。 项目地址: https://gitcode.com/gh_mirrors/vu/vu…...

编程新知 2026/5/23 4:59:53

服务器末级缓存优化：指令-数据关联性管理技术

1. 服务器工作负载中的末级缓存挑战在现代多核处理器架构中&#xff0c;共享末级缓存(Shared Last-Level Cache, LLC)的性能优化一直是计算机体系结构研究的核心课题。随着云计算和分布式计算的普及&#xff0c;服务器工作负载呈现出两个显著特征&#xff1a;指令足迹(instruct…...

编程新知 2026/5/23 4:57:53

职业会崩塌，岗位会消失，聪明的技术人该何去何从？

凌晨两点&#xff0c;写字楼的灯还亮着。我盯着屏幕上第 37 次运行的测试用例&#xff0c;咖啡杯里沉淀着今天的第三份浓缩。突然弹出一条消息&#xff1a;“系统架构升级&#xff0c;你的岗位可能被优化”。那一刻&#xff0c;我忽然意识到&#xff1a;我精心打磨的"职业…...

编程新知 2026/5/23 4:17:41

网站收录提速：蜘蛛池合规使用与安全运营技巧

网站长期收录缓慢、新内容更新难以被发现、深层页面缺少展示机会&#xff0c;是多数中小站点运营的常见难题。在正规网站优化体系中&#xff0c;蜘蛛池是优质的辅助运营工具&#xff0c;核心作用是帮助搜索引擎快速识别站点优质页面&#xff0c;提升整体检索效率&#xff0c;改…...

编程新知 2026/5/23 3:17:30

手把手教你配置海康NVR的GB28181国标编号，彻底告别‘通道数0’问题

海康NVR国标编号配置实战&#xff1a;从通道数为0到完美接入GB28181 第一次接触GB28181协议对接时&#xff0c;最让人抓狂的莫过于明明按照文档一步步配置&#xff0c;却在平台端看到冰冷的"通道数&#xff1a;0"。上周我就遇到了这个情况——客户新部署的海康NVR死活…...

编程新知 2026/5/23 3:03:55

国产多模态大模型 vs DALL-E：本土化突围与全球竞技

国产多模态大模型 vs DALL-E&#xff1a;本土化突围与全球竞技 引言 在AIGC浪潮席卷全球的当下&#xff0c;OpenAI的DALL-E系列无疑是图像生成领域的耀眼明星&#xff0c;其惊人的创造力和对自然语言的深刻理解&#xff0c;定义了“文生图”的新高度。然而&#xff0c;当我们聚…...

编程新知 2026/5/23 3:01:26

电动工具MCU选型与开发：从FOC算法到高集成度设计的工程实践

1. 项目概述&#xff1a;为什么电动工具需要一颗“聪明”的MCU&#xff1f;大家好&#xff0c;我是覃杰&#xff0c;在瑞萨电子上海分公司负责MCU相关的技术方案支持。今天我们不聊那些高大上的概念&#xff0c;就从一个工程师最熟悉的场景聊起&#xff1a;你手里那把正在“嗡嗡…...

编程新知 2026/5/23 2:14:20

HarmonyOS万能卡片开发实战：游戏状态桌面实时展示与交互实现

1. 项目概述&#xff1a;当游戏遇见万能卡片最近在HarmonyOS 3.1上折腾一个挺有意思的东西&#xff1a;把游戏的关键信息&#xff0c;比如角色状态、资源数量、离线收益&#xff0c;甚至是一键快捷操作&#xff0c;直接做成一个“万能卡片”放在桌面上。这可不是简单的应用图标…...

编程新知 2026/5/23 2:12:14

用 MinIO 搭建 S3 兼容对象存储服务

用 MinIO 搭建 S3 兼容对象存储服务 分类&#xff1a;开源项目部署 MinIO 适合附件、备份归档和 S3 兼容对象文件。这类主题真正跑起来并不难&#xff0c;难的是上线后稳定、可备份、能排错。本文按实操方式整理一套可以直接落地的流程&#xff0c;默认你已经会登录 Linux 服务…...

编程新知 2026/5/23 1:40:19

腾讯 Marvis 马维斯完整使用教程 2026 最新版

从下载安装到文件整理 电脑控制 跨端协同 隐私模式和向量引擎扩展 一篇讲清楚一 先说结论 Marvis不是普通聊天工具 如果你最近关注 AI 助手&#xff0c;大概率已经刷到过腾讯 Marvis&#xff0c;也就是中文名马维斯。 它在 2026 年 5 月正式开放下载后&#xff0c;最大的看点…...

编程新知 2026/5/23 0:58:57