GPT-4V-Act ：一个多模态AI助手，能够像人类一样模拟通过鼠标和键盘进行网页浏览。
内容来源：@xiaohuggg
GPT-4V-Act ：一个多模态AI助手，能够像人类一样模拟通过鼠标和键盘进行网页浏览。
它可以模拟人类浏览网页时的行为，如点击链接、填写表单、滚动页面等。
它通过视觉理解技术识别网页上的元素，就像人眼一样，能够“看到”按钮、文本框、图片等，并理解它们的功能和用途。
这个工具的目的是让AI能够自动完成一些需要人工操作的任务，从而提高工作效率，帮助人们更容易地使用各种网页界面。
工作原理：
GPT-4V-Act利用GPT-4V语言理解能力和视觉处理能力以及一套特定的自动标记工具(Set-of-Mark)的视觉定位能力，该工具为每个可交互的UI元素分配一个唯一的数字ID。
通过结合任务和截图作为输入，GPT-4V-Act可以推断出完成任务所需的后续动作。它能够检查UI截图并提供精确的像素坐标，以指导鼠标/键盘执行特定任务。
目前，这个演示还很基础，它利用网页抓取技术将ChatGPT Plus变形为一个非官方的GPT-4V API后端。尽管目前的测试有限，但该代理已经显示出了在Reddit上发布帖子、搜索产品和启动结账过程的能力。
主要特点：
1、视觉处理：能够处理视觉信息，但支持程度有限。
2、自动标记：使用JS DOM自动标记器为UI元素分配数字ID，支持COCO数据格式的导出。
3、鼠标和键盘操作：能够执行点击和输入字符操作。
4、特殊键码输入：目前还不支持输入特殊键码（如回车、页面上移、页面下移）。
5、其他功能：滚动、提示用户提供更多信息、记住与任务相关的信息等功能也尚未支持。
GitHub：httpshttps://github.com/ddupont808/GPT-4V-Act
视觉定位：https://https://som-gpt4v.github.io/
原帖：httpshttps://www.reddit.com/r/MachineLearning/comments/17cy0j7/d_p_web_browsing_uibased_ai_agent_gpt4vact/?rdt=50049ent_gpt4vact/
相关文章：
GPT-4V-Act ：一个多模态AI助手，能够像人类一样模拟通过鼠标和键盘进行网页浏览。
内容来源：xiaohuggg GPT-4V-Act ：一个多模态AI助手，能够像人类一样模拟通过鼠标和键盘进行网页浏览。 它可以模拟人类浏览网页时的行为，如点击链接、填写表单、滚动页面等。 它通过视觉理解技术识别网页上的元素，就像…...
剪辑视频怎么把说话声音转成文字？
短视频已然成为了一种生活潮流，我们每天都在浏览各种短视频，或者用视频的形式记录生活，在制作视频的时候，字幕是一个很大的问题，给视频添加字幕可以更直观、更方便浏览。手动添加太费时间，下面就给大家分享…...
maven打包插件配置模板
主要有两类： 1、maven-shade-plugin 主要用于java程序编写的的打包 <build><plugins><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-shade-plugin</artifactId><version>3.2.4</ve…...
clusterProfiler包学习
📖 Introduction | Biomedical Knowledge Mining using GOSemSim and clusterProfiler (yulab-smu.top) 部分使用 #GO classificationlibrary(clusterProfiler) data(geneList, package"DOSE") gene <- names(geneList)[abs(geneList) > 2]# Entre…...
【Qt开发流程之】布局管理
介绍 一个界面呈现，如果要让用户有更好的观感，布局必不可少。 【Qt之布局】QVBoxLayout、QHBoxLayout、QGridLayout、QFormLayout介绍及使用 链接: https://blog.csdn.net/MrHHHHHH/article/details/133915208 qt布局类图： Qt布局是Qt图形…...
建筑可视化中的 3D 纹理
在线工具推荐： 三维数字孪生场景工具 - GLTF/GLB在线编辑器 - Three.js AI自动纹理化开发 - YOLO 虚幻合成数据生成器 - 3D模型在线转换 - 3D模型预览图生成服务 1、什么是 3D 纹理？ 纹理是将二维图像添加到三维模型的技术艺术。虽然对物体进行纹…...
9.docker镜像Tag为none的原因
1.现象 使用docker images命令查看镜像列表，会发现存在许多标签为none的镜像： 2. 原因 docker镜像标签为none的原因如下： （1）构建或重新拉取同名同Tag的新镜像：构建或重新拉取同名同Tag的新镜像后&…...
HTML5学习系列之响应式图像
HTML5学习系列之响应式图像 前言响应式图像响应视图大小响应屏幕方向响应像素密度响应图像格式自适应像素比自适应视图宽 总结 前言 学习记录 响应式图像 响应视图大小 容器 srcset：图片地址，必需有。media：设置媒体查询。sizesÿ…...
基于数据库(MySQL)与缓存(Redis)实现分布式锁
分布式锁 分布式锁：分布式锁是在分布式的情况下实现互斥类型的一种锁 实现分布式锁需要满足的五个条件 可见性：多个进程都能看到结果互斥性：只允许一个持有锁的对象的进入临界资源可用性：无论何时都要保证锁服务的可用性&#x…...
2023年A特种设备相关管理（锅炉压力容器压力管道）证模拟考试题库及A特种设备相关管理（锅炉压力容器压力管道）理论考试试题
题库来源：安全生产模拟考试一点通公众号小程序 2023年A特种设备相关管理（锅炉压力容器压力管道）证模拟考试题库及A特种设备相关管理（锅炉压力容器压力管道）理论考试试题是由安全生产模拟考试一点通提供，A特…...
系统及其存储相关
1.区分系统（软件）和固件 1.1概念辨别 系统（软件software）： 角色： 系统是计算机中的核心软件，提供基本的管理、控制和资源分配功能。它通常包括操作系统，负责管理硬件资源、提供用户…...
鸿蒙原生应用开发-折叠屏、平板设备服务卡片适配
一、多设备卡片适配原则 为不同尺寸的卡片提供不同的功能 在卡片开发过程中请考虑适配不同尺寸的设备，特别是在折叠屏和平板设备上，设备屏幕尺寸的变化直接影响了卡片内容的展示。请发挥想象力设计具有自适应能力的卡片，避免在卡片内容不做…...
android查漏补缺（8）Android广播不同种类介绍
按照是否有序分类 1，普通广播（无序广播） 广播按照逻辑上同一时刻（实际可能被CPU按照抢占式任务无序发给注册模块）发送给注册模块 #发送方法： Context.sendBroadcast() 2，有序广播 广播按照…...
什么是美颜SDK？直播美颜SDK技术深度剖析
在实现实时美颜的过程中，美颜SDK扮演着关键的角色，它为开发者提供了一套强大的工具，使得实时美颜效果能够轻松应用于直播平台。 一、美颜SDK的基本概念 美颜SDK是一种软件工具包，通过集成了丰富的图像处理算法和实时计算技术&a…...
红海营销时代，内容占位的出海品牌更有机会营销占位
#01 品牌出海：内容占位就是品牌营销占位 红海营销时代，内容信息充斥着用户周边。无论线上还是线下，生活工作、休闲娱乐等不同场景内，广告信息均无孔不入。对于用户来说，能记住的品牌或者商品往往寥寥无几。 占位营销…...
解决龙芯loongarch64服务器编译安装Python后yum命令无法使用的问题“no module named ‘dnf‘”
引言 在使用Linux系统时，我们经常会使用yum来管理软件包。然而，有时候我们可能会遇到yum不可用的情况，其中一个原因就是Python的问题。本文将介绍Python对yum可用性的影响，并提供解决方案。 问题引发 正常情况下，安装linux系统后，yum命令是可用状态，升级Python版本后，…...
Leetcode2937. 使三个字符串相等
Every day a Leetcode 题目来源：2937. 使三个字符串相等 解法1：枚举 设 len1、len2、len3 分别为字符串 s1、s2、s3 的长度。 min_len 是 3 个字符串长度的最小值。 枚举 len min_len 到 len 1，设 t1、t2、t3 分别是字符串 s1、s2、s…...
＜MySQL＞ 如何合理的设计数据库中的表？数据表设计的三种关系
目录 一、表的设计 二、一对一关系 三、一对多关系 四、多对多关系 一、表的设计 数据库设计就是根据需要创建出符合需求的表。 首先根据需求找到体系中的关键实体对象，通常每个实体对象都会有一个表，表中包含了这个实体的相关属性。 再理清楚实体对…...
基于操作系统讨论Java线程与进程、浅谈Go的线程与管程
文章目录 操作系统中的进程进程概念进程的状态 Java中的进程Java进程的概念Java进程的特性Java进程的状态Java进程与操作系统进程的通信 操作系统的进程和Java进程的区别联系操作系统进程Java 进程区别和联系 操作系统中的线程动机优点多核编程 Java中的线程定义：特…...
CICD 持续集成与持续交付——jenkins
部署 软件下载：https://mirrors.tuna.tsinghua.edu.cn/jenkins/redhat/ [rootcicd2 ~]# rpm -ivh jdk-11.0.15_linux-x64_bin.rpm[rootcicd2 ~]# yum install -y fontconfig[rootcicd2 ~]# rpm -ivh jenkins-2.432-1.1.noarch.rpm启动服务 [rootcicd2 ~]# systemctl…...
Adams中利用AKISPL和DX函数实现非线性衬套力建模
1. 非线性衬套力建模的核心价值 在机械系统仿真中，非线性衬套力的精确建模直接影响着悬架、发动机支架等关键部件的动态特性分析精度。传统线性模型难以捕捉橡胶衬套、液压衬套等元件在真实工况下的力-位移关系，而Adams中的AKISPL和DX函数组合就像给工程…...
DDD 领域驱动设计实战：从理论到代码
DDD 领域驱动设计实战：从理论到代码别叫我大神，叫我 Alex 就好。DDD 不是银弹，但它是处理复杂业务逻辑的利器。一、DDD 核心概念 1.1 分层架构 ┌─────────────────────────────────────────┐ │ …...
PyTorch 2.5镜像体验：预装全套工具，让AI项目开发效率翻倍
PyTorch 2.5镜像体验：预装全套工具，让AI项目开发效率翻倍 1. 为什么选择预装环境的PyTorch镜像？ 深度学习项目开发中，最令人头疼的往往不是算法设计或模型调优，而是环境配置这个看似简单却暗藏玄机的工作。想象一下这…...
从光波“数环”到材料“测温”：迈克尔逊干涉仪在热膨胀系数测量中的创新实践
1. 光波如何变成材料"温度计"？ 第一次接触迈克尔逊干涉仪时，我盯着那些不断变化的彩色圆环发了半天呆。谁能想到这些看似简单的光环，竟然能精确测量出金属棒受热后百万分之一米级别的长度变化？这就像用一把能测量头发丝…...
Kubernetes 与边缘计算集成最佳实践
Kubernetes 与边缘计算集成最佳实践 一、前言 哥们，别整那些花里胡哨的。边缘计算是现代云原生架构的重要组成部分，今天直接上硬货，教你如何在 Kubernetes 中集成边缘计算。 二、边缘计算架构模式 模式适用场景优势劣势集中式简单场景管理简单…...
C#开发者的福音：用SqlSugar封装一个通用数据访问层，支持SQLite/SQL Server/MySQL一键切换
构建企业级数据访问层：SqlSugar多数据库适配架构实战 在当今快速迭代的软件开发环境中，数据访问层作为连接业务逻辑与持久化存储的关键桥梁，其设计质量直接影响着系统的可维护性和扩展性。对于C#开发者而言，SqlSugar以其轻量级和高…...
Windows环境下Jaeger全链路监控系统搭建指南
1. 为什么需要全链路监控系统 在微服务架构中，一个用户请求可能会经过多个服务的处理。想象一下，你在电商网站下单时，这个操作会触发订单服务、支付服务、库存服务等多个系统的协同工作。当出现问题时，传统的日志排查就像在迷宫里…...
病床前尽孝心，脊柱 “被折得濒临损伤”！
长期弯腰照顾卧床病人、喂饭、翻身、擦洗，颈腰椎损伤风险显著。弯腰时腰椎弯曲角度过大，椎间盘承受压力剧增；反复弯腰起身照顾病人，肌肉与椎间盘反复冲击；低头专注护理时，颈椎前伸与腰椎受力形成双重负担。…...
3种技术方案将ComfyUI模型下载速度提升400%：多线程加速与断点续传深度优化
3种技术方案将ComfyUI模型下载速度提升400%：多线程加速与断点续传深度优化 【免费下载链接】ComfyUI-Manager 项目地址: https://gitcode.com/gh_mirrors/co/ComfyUI-Manager 在AI创作工作流中，大模型文件的下载效率直接影响创作体验。当面对数G…...
CVAT：让计算机视觉标注效率提升80%的开源数据引擎
CVAT：让计算机视觉标注效率提升80%的开源数据引擎 【免费下载链接】cvat Annotate better with CVAT, the industry-leading data engine for machine learning. Used and trusted by teams at any scale, for data of any scale. 项目地址: https://gitcode.com/…...