GPT-4V-Act ：一个多模态AI助手，能够像人类一样模拟通过鼠标和键盘进行网页浏览。
内容来源：@xiaohuggg
GPT-4V-Act ：一个多模态AI助手，能够像人类一样模拟通过鼠标和键盘进行网页浏览。
它可以模拟人类浏览网页时的行为，如点击链接、填写表单、滚动页面等。
它通过视觉理解技术识别网页上的元素，就像人眼一样，能够“看到”按钮、文本框、图片等，并理解它们的功能和用途。
这个工具的目的是让AI能够自动完成一些需要人工操作的任务，从而提高工作效率，帮助人们更容易地使用各种网页界面。
工作原理：
GPT-4V-Act利用GPT-4V语言理解能力和视觉处理能力以及一套特定的自动标记工具(Set-of-Mark)的视觉定位能力，该工具为每个可交互的UI元素分配一个唯一的数字ID。
通过结合任务和截图作为输入，GPT-4V-Act可以推断出完成任务所需的后续动作。它能够检查UI截图并提供精确的像素坐标，以指导鼠标/键盘执行特定任务。
目前，这个演示还很基础，它利用网页抓取技术将ChatGPT Plus变形为一个非官方的GPT-4V API后端。尽管目前的测试有限，但该代理已经显示出了在Reddit上发布帖子、搜索产品和启动结账过程的能力。
主要特点：
1、视觉处理：能够处理视觉信息，但支持程度有限。
2、自动标记：使用JS DOM自动标记器为UI元素分配数字ID，支持COCO数据格式的导出。
3、鼠标和键盘操作：能够执行点击和输入字符操作。
4、特殊键码输入：目前还不支持输入特殊键码（如回车、页面上移、页面下移）。
5、其他功能：滚动、提示用户提供更多信息、记住与任务相关的信息等功能也尚未支持。
GitHub：httpshttps://github.com/ddupont808/GPT-4V-Act
视觉定位：https://https://som-gpt4v.github.io/
原帖：httpshttps://www.reddit.com/r/MachineLearning/comments/17cy0j7/d_p_web_browsing_uibased_ai_agent_gpt4vact/?rdt=50049ent_gpt4vact/
相关文章：
GPT-4V-Act ：一个多模态AI助手，能够像人类一样模拟通过鼠标和键盘进行网页浏览。
内容来源：xiaohuggg GPT-4V-Act ：一个多模态AI助手，能够像人类一样模拟通过鼠标和键盘进行网页浏览。 它可以模拟人类浏览网页时的行为，如点击链接、填写表单、滚动页面等。 它通过视觉理解技术识别网页上的元素，就像…...
剪辑视频怎么把说话声音转成文字？
短视频已然成为了一种生活潮流，我们每天都在浏览各种短视频，或者用视频的形式记录生活，在制作视频的时候，字幕是一个很大的问题，给视频添加字幕可以更直观、更方便浏览。手动添加太费时间，下面就给大家分享…...
maven打包插件配置模板
主要有两类： 1、maven-shade-plugin 主要用于java程序编写的的打包 <build><plugins><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-shade-plugin</artifactId><version>3.2.4</ve…...
clusterProfiler包学习
📖 Introduction | Biomedical Knowledge Mining using GOSemSim and clusterProfiler (yulab-smu.top) 部分使用 #GO classificationlibrary(clusterProfiler) data(geneList, package"DOSE") gene <- names(geneList)[abs(geneList) > 2]# Entre…...
【Qt开发流程之】布局管理
介绍 一个界面呈现，如果要让用户有更好的观感，布局必不可少。 【Qt之布局】QVBoxLayout、QHBoxLayout、QGridLayout、QFormLayout介绍及使用 链接: https://blog.csdn.net/MrHHHHHH/article/details/133915208 qt布局类图： Qt布局是Qt图形…...
建筑可视化中的 3D 纹理
在线工具推荐： 三维数字孪生场景工具 - GLTF/GLB在线编辑器 - Three.js AI自动纹理化开发 - YOLO 虚幻合成数据生成器 - 3D模型在线转换 - 3D模型预览图生成服务 1、什么是 3D 纹理？ 纹理是将二维图像添加到三维模型的技术艺术。虽然对物体进行纹…...
9.docker镜像Tag为none的原因
1.现象 使用docker images命令查看镜像列表，会发现存在许多标签为none的镜像： 2. 原因 docker镜像标签为none的原因如下： （1）构建或重新拉取同名同Tag的新镜像：构建或重新拉取同名同Tag的新镜像后&…...
HTML5学习系列之响应式图像
HTML5学习系列之响应式图像 前言响应式图像响应视图大小响应屏幕方向响应像素密度响应图像格式自适应像素比自适应视图宽 总结 前言 学习记录 响应式图像 响应视图大小 容器 srcset：图片地址，必需有。media：设置媒体查询。sizesÿ…...
基于数据库(MySQL)与缓存(Redis)实现分布式锁
分布式锁 分布式锁：分布式锁是在分布式的情况下实现互斥类型的一种锁 实现分布式锁需要满足的五个条件 可见性：多个进程都能看到结果互斥性：只允许一个持有锁的对象的进入临界资源可用性：无论何时都要保证锁服务的可用性&#x…...
2023年A特种设备相关管理（锅炉压力容器压力管道）证模拟考试题库及A特种设备相关管理（锅炉压力容器压力管道）理论考试试题
题库来源：安全生产模拟考试一点通公众号小程序 2023年A特种设备相关管理（锅炉压力容器压力管道）证模拟考试题库及A特种设备相关管理（锅炉压力容器压力管道）理论考试试题是由安全生产模拟考试一点通提供，A特…...
系统及其存储相关
1.区分系统（软件）和固件 1.1概念辨别 系统（软件software）： 角色： 系统是计算机中的核心软件，提供基本的管理、控制和资源分配功能。它通常包括操作系统，负责管理硬件资源、提供用户…...
鸿蒙原生应用开发-折叠屏、平板设备服务卡片适配
一、多设备卡片适配原则 为不同尺寸的卡片提供不同的功能 在卡片开发过程中请考虑适配不同尺寸的设备，特别是在折叠屏和平板设备上，设备屏幕尺寸的变化直接影响了卡片内容的展示。请发挥想象力设计具有自适应能力的卡片，避免在卡片内容不做…...
android查漏补缺（8）Android广播不同种类介绍
按照是否有序分类 1，普通广播（无序广播） 广播按照逻辑上同一时刻（实际可能被CPU按照抢占式任务无序发给注册模块）发送给注册模块 #发送方法： Context.sendBroadcast() 2，有序广播 广播按照…...
什么是美颜SDK？直播美颜SDK技术深度剖析
在实现实时美颜的过程中，美颜SDK扮演着关键的角色，它为开发者提供了一套强大的工具，使得实时美颜效果能够轻松应用于直播平台。 一、美颜SDK的基本概念 美颜SDK是一种软件工具包，通过集成了丰富的图像处理算法和实时计算技术&a…...
红海营销时代，内容占位的出海品牌更有机会营销占位
#01 品牌出海：内容占位就是品牌营销占位 红海营销时代，内容信息充斥着用户周边。无论线上还是线下，生活工作、休闲娱乐等不同场景内，广告信息均无孔不入。对于用户来说，能记住的品牌或者商品往往寥寥无几。 占位营销…...
解决龙芯loongarch64服务器编译安装Python后yum命令无法使用的问题“no module named ‘dnf‘”
引言 在使用Linux系统时，我们经常会使用yum来管理软件包。然而，有时候我们可能会遇到yum不可用的情况，其中一个原因就是Python的问题。本文将介绍Python对yum可用性的影响，并提供解决方案。 问题引发 正常情况下，安装linux系统后，yum命令是可用状态，升级Python版本后，…...
Leetcode2937. 使三个字符串相等
Every day a Leetcode 题目来源：2937. 使三个字符串相等 解法1：枚举 设 len1、len2、len3 分别为字符串 s1、s2、s3 的长度。 min_len 是 3 个字符串长度的最小值。 枚举 len min_len 到 len 1，设 t1、t2、t3 分别是字符串 s1、s2、s…...
＜MySQL＞ 如何合理的设计数据库中的表？数据表设计的三种关系
目录 一、表的设计 二、一对一关系 三、一对多关系 四、多对多关系 一、表的设计 数据库设计就是根据需要创建出符合需求的表。 首先根据需求找到体系中的关键实体对象，通常每个实体对象都会有一个表，表中包含了这个实体的相关属性。 再理清楚实体对…...
基于操作系统讨论Java线程与进程、浅谈Go的线程与管程
文章目录 操作系统中的进程进程概念进程的状态 Java中的进程Java进程的概念Java进程的特性Java进程的状态Java进程与操作系统进程的通信 操作系统的进程和Java进程的区别联系操作系统进程Java 进程区别和联系 操作系统中的线程动机优点多核编程 Java中的线程定义：特…...
CICD 持续集成与持续交付——jenkins
部署 软件下载：https://mirrors.tuna.tsinghua.edu.cn/jenkins/redhat/ [rootcicd2 ~]# rpm -ivh jdk-11.0.15_linux-x64_bin.rpm[rootcicd2 ~]# yum install -y fontconfig[rootcicd2 ~]# rpm -ivh jenkins-2.432-1.1.noarch.rpm启动服务 [rootcicd2 ~]# systemctl…...
突破不可导策略的训练难题：零阶优化与强化学习的深度嵌合
强化学习（Reinforcement Learning, RL）是工业领域智能控制的重要方法。它的基本原理是将最优控制问题建模为马尔可夫决策过程，然后使用强化学习的Actor-Critic机制（中文译作“知行互动”机制），逐步迭代求解…...
Qt/C++开发监控GB28181系统/取流协议/同时支持udp/tcp被动/tcp主动
一、前言说明 在2011版本的gb28181协议中，拉取视频流只要求udp方式，从2016开始要求新增支持tcp被动和tcp主动两种方式，udp理论上会丢包的，所以实际使用过程可能会出现画面花屏的情况，而tcp肯定不丢包，起码…...
Cloudflare 从 Nginx 到 Pingora：性能、效率与安全的全面升级
在互联网的快速发展中，高性能、高效率和高安全性的网络服务成为了各大互联网基础设施提供商的核心追求。Cloudflare 作为全球领先的互联网安全和基础设施公司，近期做出了一个重大技术决策：弃用长期使用的 Nginx，转而采用其内部开发…...
【Zephyr 系列 10】实战项目：打造一个蓝牙传感器终端 + 网关系统（完整架构与全栈实现）
🧠关键词：Zephyr、BLE、终端、网关、广播、连接、传感器、数据采集、低功耗、系统集成 📌目标读者：希望基于 Zephyr 构建 BLE 系统架构、实现终端与网关协作、具备产品交付能力的开发者 📊篇幅字数：约 5200 字 ✨ 项目总览 在物联网实际项目中，**“终端 + 网关”**是…...
AGain DB和倍数增益的关系
我在设置一款索尼CMOS芯片时，Again增益0db变化为6DB，画面的变化只有2倍DN的增益，比如10变为20。 这与dB和线性增益的关系以及传感器处理流程有关。以下是具体原因分析： 1. dB与线性增益的换算关系 6dB对应的理论线性增益应为&…...
详细解析)
Caliper 负载(Workload)详细解析
Caliper 负载(Workload)详细解析 负载(Workload)是 Caliper 性能测试的核心部分，它定义了测试期间要执行的具体合约调用行为和交易模式。下面我将全面深入地讲解负载的各个方面。 一、负载模块基本结构 一个典型的负载模块(如 workload.js)包含以下基本结构： use strict;/…...
Neko虚拟浏览器远程协作方案：Docker+内网穿透技术部署实践
前言：本文将向开发者介绍一款创新性协作工具——Neko虚拟浏览器。在数字化协作场景中，跨地域的团队常需面对实时共享屏幕、协同编辑文档等需求。通过本指南，你将掌握在Ubuntu系统中使用容器化技术部署该工具的具体方案，并结合内网…...
从零开始了解数据采集（二十八）——制造业数字孪生
近年来，我国的工业领域正经历一场前所未有的数字化变革，从“双碳目标”到工业互联网平台的推广，国家政策和市场需求共同推动了制造业的升级。在这场变革中，数字孪生技术成为备受关注的关键工具，它不仅让企业“看见”设…...
算法—栈系列
一：删除字符串中的所有相邻重复项 class Solution { public:string removeDuplicates(string s) {stack<char> st;for(int i 0; i < s.size(); i){char target s[i];if(!st.empty() && target st.top())st.pop();elsest.push(s[i]);}string ret…...
英国云服务器上安装宝塔面板（BT Panel）
在英国云服务器上安装宝塔面板（BT Panel） 是完全可行的，尤其适合需要远程管理Linux服务器、快速部署网站、数据库、FTP、SSL证书等服务的用户。宝塔面板以其可视化操作界面和强大的功能广受国内用户欢迎，虽然官方主要面向中国大陆…...