UI-TARS: 基于视觉语言模型的多模式代理

GitHub：https://github.com/bytedance/UI-TARS

更多AI开源软件：发现分享好用的AI工具、AI开源软件、AI模型、AI变现 - 小众AI

基于视觉语言模型（Vision-Language Model）的 GUI 代理应用，允许用户通过自然语言控制电脑操作。它结合了视觉识别和自然语言处理技术，能够理解用户的指令并执行相应的操作。

该应用支持跨平台运行，适用于 Windows 和 MacOS 系统。通过实时反馈和状态显示，用户可以直观地看到指令的执行情况，确保操作的精准性和高效性。

​

​

主要功能

• 自然语言控制：通过自然语言指令控制电脑操作，简化用户交互。
• 视觉识别支持：支持截图和视觉识别功能，能够识别屏幕内容并执行相应操作。
• 精准控制：提供精确的鼠标和键盘控制，确保操作的准确性。
• 跨平台支持：支持 Windows 和 MacOS 系统，满足不同用户的需求。
• 实时反馈：提供实时反馈和状态显示，帮助用户了解指令执行情况。

性能

Online Benchmark Evaluation

Benchmark type	Benchmark	UI-TARS-1.5	OpenAI CUA	Claude 3.7	Previous SOTA
Computer Use	OSworld (100 steps)	42.5	36.4	28	38.1 (200 step)
	Windows Agent Arena (50 steps)	42.1	-	-	29.8
Browser Use	WebVoyager	84.8	87	84.1	87
	Online-Mind2web	75.8	71	62.9	71
Phone Use	Android World	64.2	-	-	59.5

Grounding Capability Evaluation

Benchmark	UI-TARS-1.5	OpenAI CUA	Claude 3.7	Previous SOTA
ScreenSpot-V2	94.2	87.9	87.6	91.6
ScreenSpotPro	61.6	23.4	27.7	43.6

Poki Game

Model	2048	cubinko	energy	free-the-key	Gem-11	hex-frvr	Infinity-Loop	Maze:Path-of-Light	shapes	snake-solver	wood-blocks-3d	yarn-untangle	laser-maze-puzzle	tiles-master
OpenAI CUA	31.04	0.00	32.80	0.00	46.27	92.25	23.08	35.00	52.18	42.86	2.02	44.56	80.00	78.27
Claude 3.7	43.05	0.00	41.60	0.00	0.00	30.76	2.31	82.00	6.26	42.86	0.00	13.77	28.00	52.18
UI-TARS-1.5	100.00	0.00	100.00	100.00	100.00	100.00	100.00	100.00	100.00	100.00	100.00	100.00	100.00	100.00

Minecraft

Task Type	Task Name	VPT	DreamerV3	Previous SOTA	UI-TARS-1.5 w/o Thought	UI-TARS-1.5 w/ Thought
Mine Blocks	(oak_log)	0.8	1.0	1.0	1.0	1.0
	(obsidian)	0.0	0.0	0.0	0.2	0.3
	(white_bed)	0.0	0.0	0.1	0.4	0.6
	200 Tasks Avg.	0.06	0.03	0.32	0.35	0.42
Kill Mobs	(mooshroom)	0.0	0.0	0.1	0.3	0.4
	(zombie)	0.4	0.1	0.6	0.7	0.9
	(chicken)	0.1	0.0	0.4	0.5	0.6
	100 Tasks Avg.	0.04	0.03	0.18	0.25	0.31

模型对比

Here we compare performance across different model scales of UI-TARS on the OSworld benchmark.

Benchmark Type	Benchmark	UI-TARS-72B-DPO	UI-TARS-1.5-7B	UI-TARS-1.5
Computer Use	OSWorld	24.6	27.5	42.5
GUI Grounding	ScreenSpotPro	38.1	49.6	61.6

🚀 安装和使用

为了帮助您快速开始使用我们的模型，我们建议您按顺序执行以下步骤。这些步骤将指导您完成部署、预测后处理，以使模型在您的环境中执行作。

✅ 步骤1：部署和推理

👉 部署和推理。 这包括使用 huggingface 终端节点部署模型和运行第一个预测的说明。

✅ 第 2 步：后处理

👉 预测后处理。 这包括将模型预测解析为可执行的 pyautogui 代码。 为了帮助您更好地了解坐标处理，我们还提供了坐标处理可视化指南。

提示使用指南

为了适应不同的设备环境和任务复杂性，codes/prompts.py 中的以下三个提示模板。旨在指导 GUI 代理生成适当的作。选择最适合您的使用案例的模板：

🖥️COMPUTER_USE​

建议用于：桌面环境（如 Windows、Linux 或 macOS）上的 GUI 任务。

特征：

• 支持常见的桌面作：鼠标单击（单击、双击、右键单击）、拖动作、键盘快捷键、文本输入、滚动等。
• 非常适合浏览器导航、办公软件交互、文件管理和其他基于桌面的任务。

📱MOBILE_USE​

建议用于：移动设备或 Android 仿真器上的 GUI 任务。

特征：

• 包括特定于移动设备的作：、、、 .long_pressopen_apppress_homepress_back​
• 适用于启动应用程序、滚动视图、填充输入字段以及在移动应用程序中导航。

📌GROUNDING​

推荐用于：仅专注于作输出的轻量级任务，或用于模型训练和评估。

特征：

• 仅输出 ，无需任何推理 （）。ActionThought​
• 用于评估接地能力。

实战演习

步骤 1：初始化：UI-TARS 首先使用 PyAutoGUI 初始化交互环境以与 GUI 元素交互。

步骤 2：观察和思考过程

• 观察：UI-TARS 识别桌面上的 Word 图标。
• 思考：“Word 图标存在；我需要双击它才能打开 Word 程序。”
• 操作：在 Word 图标上执行左键双击操作。

步骤 3：等待程序启动

• 观察：UI-TARS 检测到 Word 程序正在加载。
• 想法：“我应该等到 Word 完全启动以避免交互错误。”
• 操作：执行等待操作以确保环境已准备好进行下一步。

步骤 4：输入文本并保存

• 观察：UI-TARS 观察到 Word 文档界面已准备好进行交互。
• 想法：“现在我可以添加文本‘hello’并使用 Ctrl+S 保存文档。”
• 操作：执行输入（type("hello")）并保存文件（Ctrl+S）。