GPT-4V-Act ：一个多模态AI助手，能够像人类一样模拟通过鼠标和键盘进行网页浏览。
内容来源：@xiaohuggg
GPT-4V-Act ：一个多模态AI助手，能够像人类一样模拟通过鼠标和键盘进行网页浏览。
它可以模拟人类浏览网页时的行为，如点击链接、填写表单、滚动页面等。
它通过视觉理解技术识别网页上的元素，就像人眼一样，能够“看到”按钮、文本框、图片等，并理解它们的功能和用途。
这个工具的目的是让AI能够自动完成一些需要人工操作的任务，从而提高工作效率，帮助人们更容易地使用各种网页界面。
工作原理：
GPT-4V-Act利用GPT-4V语言理解能力和视觉处理能力以及一套特定的自动标记工具(Set-of-Mark)的视觉定位能力，该工具为每个可交互的UI元素分配一个唯一的数字ID。
通过结合任务和截图作为输入，GPT-4V-Act可以推断出完成任务所需的后续动作。它能够检查UI截图并提供精确的像素坐标，以指导鼠标/键盘执行特定任务。
目前，这个演示还很基础，它利用网页抓取技术将ChatGPT Plus变形为一个非官方的GPT-4V API后端。尽管目前的测试有限，但该代理已经显示出了在Reddit上发布帖子、搜索产品和启动结账过程的能力。
主要特点：
1、视觉处理：能够处理视觉信息，但支持程度有限。
2、自动标记：使用JS DOM自动标记器为UI元素分配数字ID，支持COCO数据格式的导出。
3、鼠标和键盘操作：能够执行点击和输入字符操作。
4、特殊键码输入：目前还不支持输入特殊键码（如回车、页面上移、页面下移）。
5、其他功能：滚动、提示用户提供更多信息、记住与任务相关的信息等功能也尚未支持。
GitHub：httpshttps://github.com/ddupont808/GPT-4V-Act
视觉定位：https://https://som-gpt4v.github.io/
原帖：httpshttps://www.reddit.com/r/MachineLearning/comments/17cy0j7/d_p_web_browsing_uibased_ai_agent_gpt4vact/?rdt=50049ent_gpt4vact/
相关文章：
GPT-4V-Act ：一个多模态AI助手，能够像人类一样模拟通过鼠标和键盘进行网页浏览。
内容来源：xiaohuggg GPT-4V-Act ：一个多模态AI助手，能够像人类一样模拟通过鼠标和键盘进行网页浏览。 它可以模拟人类浏览网页时的行为，如点击链接、填写表单、滚动页面等。 它通过视觉理解技术识别网页上的元素，就像…...
剪辑视频怎么把说话声音转成文字？
短视频已然成为了一种生活潮流，我们每天都在浏览各种短视频，或者用视频的形式记录生活，在制作视频的时候，字幕是一个很大的问题，给视频添加字幕可以更直观、更方便浏览。手动添加太费时间，下面就给大家分享…...
maven打包插件配置模板
主要有两类： 1、maven-shade-plugin 主要用于java程序编写的的打包 <build><plugins><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-shade-plugin</artifactId><version>3.2.4</ve…...
clusterProfiler包学习
📖 Introduction | Biomedical Knowledge Mining using GOSemSim and clusterProfiler (yulab-smu.top) 部分使用 #GO classificationlibrary(clusterProfiler) data(geneList, package"DOSE") gene <- names(geneList)[abs(geneList) > 2]# Entre…...
【Qt开发流程之】布局管理
介绍 一个界面呈现，如果要让用户有更好的观感，布局必不可少。 【Qt之布局】QVBoxLayout、QHBoxLayout、QGridLayout、QFormLayout介绍及使用 链接: https://blog.csdn.net/MrHHHHHH/article/details/133915208 qt布局类图： Qt布局是Qt图形…...
建筑可视化中的 3D 纹理
在线工具推荐： 三维数字孪生场景工具 - GLTF/GLB在线编辑器 - Three.js AI自动纹理化开发 - YOLO 虚幻合成数据生成器 - 3D模型在线转换 - 3D模型预览图生成服务 1、什么是 3D 纹理？ 纹理是将二维图像添加到三维模型的技术艺术。虽然对物体进行纹…...
9.docker镜像Tag为none的原因
1.现象 使用docker images命令查看镜像列表，会发现存在许多标签为none的镜像： 2. 原因 docker镜像标签为none的原因如下： （1）构建或重新拉取同名同Tag的新镜像：构建或重新拉取同名同Tag的新镜像后&…...
HTML5学习系列之响应式图像
HTML5学习系列之响应式图像 前言响应式图像响应视图大小响应屏幕方向响应像素密度响应图像格式自适应像素比自适应视图宽 总结 前言 学习记录 响应式图像 响应视图大小 容器 srcset：图片地址，必需有。media：设置媒体查询。sizesÿ…...
基于数据库(MySQL)与缓存(Redis)实现分布式锁
分布式锁 分布式锁：分布式锁是在分布式的情况下实现互斥类型的一种锁 实现分布式锁需要满足的五个条件 可见性：多个进程都能看到结果互斥性：只允许一个持有锁的对象的进入临界资源可用性：无论何时都要保证锁服务的可用性&#x…...
2023年A特种设备相关管理（锅炉压力容器压力管道）证模拟考试题库及A特种设备相关管理（锅炉压力容器压力管道）理论考试试题
题库来源：安全生产模拟考试一点通公众号小程序 2023年A特种设备相关管理（锅炉压力容器压力管道）证模拟考试题库及A特种设备相关管理（锅炉压力容器压力管道）理论考试试题是由安全生产模拟考试一点通提供，A特…...
系统及其存储相关
1.区分系统（软件）和固件 1.1概念辨别 系统（软件software）： 角色： 系统是计算机中的核心软件，提供基本的管理、控制和资源分配功能。它通常包括操作系统，负责管理硬件资源、提供用户…...
鸿蒙原生应用开发-折叠屏、平板设备服务卡片适配
一、多设备卡片适配原则 为不同尺寸的卡片提供不同的功能 在卡片开发过程中请考虑适配不同尺寸的设备，特别是在折叠屏和平板设备上，设备屏幕尺寸的变化直接影响了卡片内容的展示。请发挥想象力设计具有自适应能力的卡片，避免在卡片内容不做…...
android查漏补缺（8）Android广播不同种类介绍
按照是否有序分类 1，普通广播（无序广播） 广播按照逻辑上同一时刻（实际可能被CPU按照抢占式任务无序发给注册模块）发送给注册模块 #发送方法： Context.sendBroadcast() 2，有序广播 广播按照…...
什么是美颜SDK？直播美颜SDK技术深度剖析
在实现实时美颜的过程中，美颜SDK扮演着关键的角色，它为开发者提供了一套强大的工具，使得实时美颜效果能够轻松应用于直播平台。 一、美颜SDK的基本概念 美颜SDK是一种软件工具包，通过集成了丰富的图像处理算法和实时计算技术&a…...
红海营销时代，内容占位的出海品牌更有机会营销占位
#01 品牌出海：内容占位就是品牌营销占位 红海营销时代，内容信息充斥着用户周边。无论线上还是线下，生活工作、休闲娱乐等不同场景内，广告信息均无孔不入。对于用户来说，能记住的品牌或者商品往往寥寥无几。 占位营销…...
解决龙芯loongarch64服务器编译安装Python后yum命令无法使用的问题“no module named ‘dnf‘”
引言 在使用Linux系统时，我们经常会使用yum来管理软件包。然而，有时候我们可能会遇到yum不可用的情况，其中一个原因就是Python的问题。本文将介绍Python对yum可用性的影响，并提供解决方案。 问题引发 正常情况下，安装linux系统后，yum命令是可用状态，升级Python版本后，…...
Leetcode2937. 使三个字符串相等
Every day a Leetcode 题目来源：2937. 使三个字符串相等 解法1：枚举 设 len1、len2、len3 分别为字符串 s1、s2、s3 的长度。 min_len 是 3 个字符串长度的最小值。 枚举 len min_len 到 len 1，设 t1、t2、t3 分别是字符串 s1、s2、s…...
＜MySQL＞ 如何合理的设计数据库中的表？数据表设计的三种关系
目录 一、表的设计 二、一对一关系 三、一对多关系 四、多对多关系 一、表的设计 数据库设计就是根据需要创建出符合需求的表。 首先根据需求找到体系中的关键实体对象，通常每个实体对象都会有一个表，表中包含了这个实体的相关属性。 再理清楚实体对…...
基于操作系统讨论Java线程与进程、浅谈Go的线程与管程
文章目录 操作系统中的进程进程概念进程的状态 Java中的进程Java进程的概念Java进程的特性Java进程的状态Java进程与操作系统进程的通信 操作系统的进程和Java进程的区别联系操作系统进程Java 进程区别和联系 操作系统中的线程动机优点多核编程 Java中的线程定义：特…...
CICD 持续集成与持续交付——jenkins
部署 软件下载：https://mirrors.tuna.tsinghua.edu.cn/jenkins/redhat/ [rootcicd2 ~]# rpm -ivh jdk-11.0.15_linux-x64_bin.rpm[rootcicd2 ~]# yum install -y fontconfig[rootcicd2 ~]# rpm -ivh jenkins-2.432-1.1.noarch.rpm启动服务 [rootcicd2 ~]# systemctl…...
3.3.1_1 检错编码（奇偶校验码）
从这节课开始，我们会探讨数据链路层的差错控制功能，差错控制功能的主要目标是要发现并且解决一个帧内部的位错误，我们需要使用特殊的编码技术去发现帧内部的位错误，当我们发现位错误之后，通常来说有两种解决方案。第一…...
QMC5883L的驱动
简介 本篇文章的代码已经上传到了github上面，开源代码 作为一个电子罗盘模块，我们可以通过I2C从中获取偏航角yaw，相对于六轴陀螺仪的yaw，qmc5883l几乎不会零飘并且成本较低。 参考资料 QMC5883L磁场传感器驱动 QMC5883L磁力计…...
Python爬虫实战：研究feedparser库相关技术
1. 引言 1.1 研究背景与意义 在当今信息爆炸的时代，互联网上存在着海量的信息资源。RSS（Really Simple Syndication）作为一种标准化的信息聚合技术，被广泛用于网站内容的发布和订阅。通过 RSS，用户可以方便地获取网站更新的内容，而无需频繁访问各个网站。 然而，互联网…...
【ROS】Nav2源码之nav2_behavior_tree-行为树节点列表
1、行为树节点分类 在 Nav2（Navigation2）的行为树框架中，行为树节点插件按照功能分为 Action（动作节点）、Condition（条件节点）、Control（控制节点） 和 Decorator（装饰节点） 四类。 1.1 动作节点 Action 执行具体的机器人操作或任务，直接与硬件、传感器或外部系统…...
JVM虚拟机：内存结构、垃圾回收、性能优化
1、JVM虚拟机的简介 Java 虚拟机（Java Virtual Machine 简称：JVM）是运行所有 Java 程序的抽象计算机，是 Java 语言的运行环境，实现了 Java 程序的跨平台特性。JVM 屏蔽了与具体操作系统平台相关的信息，使得 Java 程序只需生成在 JVM 上运行的目标代码（字节码），就可以…...
排序算法总结（C++）
目录 一、稳定性二、排序算法选择、冒泡、插入排序归并排序随机快速排序堆排序基数排序计数排序 三、总结 一、稳定性 排序算法的稳定性是指：同样大小的样本 **（同样大小的数据）**在排序之后不会改变原始的相对次序。 稳定性对基础类型对象…...
基于Springboot+Vue的办公管理系统
角色： 管理员、员工 技术： 后端: SpringBoot, Vue2, MySQL, Mybatis-Plus 前端: Vue2, Element-UI, Axios, Echarts, Vue-Router 核心功能： 该办公管理系统是一个综合性的企业内部管理平台，旨在提升企业运营效率和员工管理水…...
Spring Security 认证流程——补充
一、认证流程概述 Spring Security 的认证流程基于 过滤器链（Filter Chain），核心组件包括 UsernamePasswordAuthenticationFilter、AuthenticationManager、UserDetailsService 等。整个流程可分为以下步骤： 用户提交登录请求拦…...
华为OD最新机试真题-数组组成的最小数字-OD统一考试（B卷）
题目描述 给定一个整型数组，请从该数组中选择3个元素 组成最小数字并输出 (如果数组长度小于3，则选择数组中所有元素来组成最小数字)。 输入描述 行用半角逗号分割的字符串记录的整型数组，0<数组长度<= 100，0<整数的取值范围<= 10000。 输出描述 由3个元素组成…...
Pandas 可视化集成：数据科学家的高效绘图指南
为什么选择 Pandas 进行数据可视化？ 在数据科学和分析领域，可视化是理解数据、发现模式和传达见解的关键步骤。Python 生态系统提供了多种可视化工具，如 Matplotlib、Seaborn、Plotly 等，但 Pandas 内置的可视化功能因其与数据结…...