论文阅读：MultiUI 利用网页UI进行丰富文本的视觉理解
《HARNESSING WEBPAGE UIS FOR TEXT-RICH VISUAL UNDERSTANDING》
利用网页UI进行丰富文本的视觉理解
总结
- grounding和QA部分的数据集占比较大、同时消融实验显示其作用相对较大，并且grounding部分作用和效果呈现scaling正相关
- 提供了很多web数据处理成多模态训练集的prompt、思路等、提供了开源代码：https://neulab.github.io/MultiUI/
1、前言
- 1M URLs
- 2个平台
- 3种能力：视觉理解和推理、文本识别、定位
- 基于充分结构化的网页来合成多模态指令数据集
2、数据集构建
- 数据集通过4步构造
- 9个任务的具体设计【重点】
数据分布
- grounding数据占 3M/7.3M ~ 41%，mobile的grounding占mobile数据的 47.8%
- 其次占比最多的是 WebQA、ImgQA
- Grounding和action的一些数据示例
3、实验设置
- 模型结构
- 训练策略：两阶段训练
- Benchmark
4、实验结果分析
- GUI相关任务的实验结果
- 没有把Seeclick模型在SSpot上的结果放出来（mobile-0.657）；
- GUI grounding的能力和数据集大小存在正相关关系
- 消融实验说明了 加入grounding数据集对于screenspot评测集的必要性
- 两阶段训练效果更优、提升2点左右
相关文章：
论文阅读：MultiUI 利用网页UI进行丰富文本的视觉理解
《HARNESSING WEBPAGE UIS FOR TEXT-RICH VISUAL UNDERSTANDING》 利用网页UI进行丰富文本的视觉理解 总结 grounding和QA部分的数据集占比较大、同时消融实验显示其作用相对较大，并且grounding部分作用和效果呈现scaling正相关提供了很多web数据处理成多模态训练…...
【云原生】云原生后端详解：架构与实践
目录 引言一、云原生后端的核心概念1.1 微服务架构1.2 容器化1.3 可编排性1.4 弹性和可伸缩性 二、云原生后端的架构示意图三、云原生后端的最佳实践3.1 使用服务网格3.2 监控与日志管理3.3 CI/CD 流水线3.4 安全性 总结参考资料 引言 随着云计算的迅猛发展，云原生…...
MySQL覆盖索引
覆盖索引（Covering Index）是数据库优化中的一种重要技术 覆盖索引是指一个查询语句在执行时，所需的数据可以完全通过索引来获取，而无需访问实际的数据行。也就是说，查询语句所需的列都包含在了创建的索引中，…...
「C/C++」C/C++ 之 循环结构详解
✨博客主页何曾参静谧的博客📌文章专栏「C/C」C/C程序设计📚全部专栏「VS」Visual Studio「C/C」C/C程序设计「UG/NX」BlockUI集合「Win」Windows程序设计「DSA」数据结构与算法「UG/NX」NX二次开发「QT」QT5程序设计「File」数据文件格式「PK」Parasoli…...
json-server的基本使用
一、json-server工具的使用 可以快速的搭建符合RESTful API服务。返回符合RESTful规范的数据； 1、全局引入json-server包 npm install -g json-server2、创建json格式的db.json文件 {"jsonData": [{"name": "小明"}] }3、在json文…...
华为配置BFD状态与接口状态联动实验
组网图形 图1 配置BFD状态与接口状态联动组网图 BFD简介配置注意事项组网需求配置思路操作步骤配置文件 BFD简介 为了减小设备故障对业务的影响，提高网络的可靠性，网络设备需要能够尽快检测到与相邻设备间的通信故障，以便及时采取措施&…...
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-22
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-22 目录 文章目录 计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-22目录1. PoisonedRAG: Knowledge corruption attacks to retrieval-augmented generation of large language models摘要创新点…...
理解消息队列
消息队列（Message Queue）有下面四大作用： 解耦。几个业务系统之间可以通过 MQ 解耦，例如做数据同步数据的顺序性和可恢复性异步通讯缓冲能力 理解 MQ MQ 的前两个特点且不说，我们看看另外两个的。 异步通讯&#x…...
!什么，matlab也有网页版了
已经脱离matlab一下下几天的困境了，是的，matlab也有网页版了 附上网址： MATLAB Login | MATLAB & Simulink...
安卓屏幕息屏唤醒
背景，今天遇项目需要，需要在下载在后台任务运行时（如下载、上传或进行长时间计算），保持 CPU 活动，然后就写了这个实现方法，废话不多说上代码 第一步，再清单AndroidManifest文件声明权…...
类文件具有错误的版本 61.0, 应为 55.0
启动项目的时候报这个错误. 项目所使用的redis版本是jdk17的，而我使用的是Java11.所以要将redis版本降下来。 另一种方式就是修改jdk的版本，在设置修改编译版本，在版本控制里面修改jdk的版本。...
vue点击菜单，出现2个相同tab,啥原因
点击菜单，出现相同的tab 出现的原因： 1.组件中的name 和配置路由文件js, 的大小写不一致导致 2、跳转的路由整个地址，大小写不一致大致...
【网络原理】——图解HTTPS如何加密（通俗简单易懂）
阿华代码，不是逆风，就是我疯 你们的点赞收藏是我前进最大的动力！！ 希望本文内容能够帮助到你！！ 目录 一：HTTP为什么不安全 二：HTTPS加密过程 1：密码学中的概念 &…...
CentOS 修改服务器登录密码的完整指南
个人名片 🎓作者简介：java领域优质创作者 🌐个人主页：码农阿豪 📞工作室：新空间代码工作室（提供各种软件服务） 💌个人邮箱：[2435024119qq.com] 📱…...
【PnP】详细公式推导，使用DLT直接线性变换法求解相机外参
文章目录 🚀PnP1️⃣ 求解不考虑尺度的解2️⃣ 恢复解的尺度3️⃣ 另一种解法 🚀PnP PnP(Perspective-n-Point)是求解3D到2D点相机外参的算法。PnP算法有DLT直接线性变换、P3P三对点估计位姿、EPnP(Efficient PnP)、BA(Bundle Adjustment)光速法平差。这…...
怎样把书上的事件图改编成活动图-《分析模式》漫谈43
DDD领域驱动设计批评文集 做强化自测题获得“软件方法建模师”称号 《软件方法》各章合集 《分析模式》中模型图的UML改编，之前也有人做过，Martin Fowler网站上给出了部分改编成果。 这些改编成果只覆盖了部分章节，而且只是把类型图&#…...
CodeFormer——基于代码本查找变换器的鲁棒盲人脸修复翻译
文章目录 原文翻译摘要1 Introduction2 Related Work3 Methodology3.1 Codebook Learning (Stage I)3.2 Codebook Lookup Transformer Learning (Stage II)3.3 Controllable Feature Transformation (Stage III) 4 Experiments4.1 Datasets4.2 Experimental Settings and Metri…...
监控场景下，视频SDK的应用策略
在当今数字化、智能化的时代背景下，音视频技术的快速发展正深刻改变着各行各业。特别是在监控领域，音视频SDK的应用不仅极大地提升了监控系统的性能与效率，还推动了监控技术的智能化转型。 一、音视频SDK 音视频SDK是一套集成了音视频编解码…...
前端面试必备！HTML 超实用考点全解析
在前端开发的广阔领域中，面试是检验开发者能力的关键环节。而 HTML 作为前端开发的基础，在面试中常常占据重要地位。无论是初入前端领域的新人，还是经验丰富的开发者，都可能在 HTML 的相关问题上遭遇挑战。今天，就让我…...
自动驾驶系统研发系列—避免事故的利器：AEB自动紧急制动系统详解
🌟🌟 欢迎来到我的技术小筑，一个专为技术探索者打造的交流空间。在这里，我们不仅分享代码的智慧，还探讨技术的深度与广度。无论您是资深开发者还是技术新手，这里都有一片属于您的天空。让我们在知识的海洋中一起航行，共同成长，探索技术的无限可能。 🚀 探索专栏：学…...
LBE-LEX系列工业语音播放器|预警播报器|喇叭蜂鸣器的上位机配置操作说明
LBE-LEX系列工业语音播放器|预警播报器|喇叭蜂鸣器专为工业环境精心打造，完美适配AGV和无人叉车。同时，集成以太网与语音合成技术，为各类高级系统（如MES、调度系统、库位管理、立库等）提供高效便捷的语音交互体验。 L…...
PPT|230页| 制造集团企业供应链端到端的数字化解决方案：从需求到结算的全链路业务闭环构建
制造业采购供应链管理是企业运营的核心环节，供应链协同管理在供应链上下游企业之间建立紧密的合作关系，通过信息共享、资源整合、业务协同等方式，实现供应链的全面管理和优化，提高供应链的效率和透明度，降低供应链的成…...
1.3 VSCode安装与环境配置
进入网址Visual Studio Code - Code Editing. Redefined下载.deb文件，然后打开终端，进入下载文件夹，键入命令 sudo dpkg -i code_1.100.3-1748872405_amd64.deb 在终端键入命令code即启动vscode 需要安装插件列表 1.Chinese简化 2.ros …...
在WSL2的Ubuntu镜像中安装Docker
Docker官网链接: https://docs.docker.com/engine/install/ubuntu/ 1、运行以下命令卸载所有冲突的软件包： for pkg in docker.io docker-doc docker-compose docker-compose-v2 podman-docker containerd runc; do sudo apt-get remove $pkg; done2、设置Docker…...
鸿蒙DevEco Studio HarmonyOS 5跑酷小游戏实现指南
1. 项目概述 本跑酷小游戏基于鸿蒙HarmonyOS 5开发，使用DevEco Studio作为开发工具，采用Java语言实现，包含角色控制、障碍物生成和分数计算系统。 2. 项目结构 /src/main/java/com/example/runner/├── MainAbilitySlice.java // 主界…...
服务器--宝塔命令
一、宝塔面板安装命令 ⚠️ 必须使用 root 用户 或 sudo 权限执行！ sudo su - 1. CentOS 系统： yum install -y wget && wget -O install.sh http://download.bt.cn/install/install_6.0.sh && sh install.sh2. Ubuntu / Debian 系统…...
高效线程安全的单例模式：Python 中的懒加载与自定义初始化参数
高效线程安全的单例模式：Python 中的懒加载与自定义初始化参数 在软件开发中，单例模式（Singleton Pattern）是一种常见的设计模式，确保一个类仅有一个实例，并提供一个全局访问点。在多线程环境下，实现单例模式时需要注意线程安全问题，以防止多个线程同时创建实例，导致…...
【分享】推荐一些办公小工具
1、PDF 在线转换 https://smallpdf.com/cn/pdf-tools 推荐理由：大部分的转换软件需要收费，要么功能不齐全，而开会员又用不了几次浪费钱，借用别人的又不安全。 这个网站它不需要登录或下载安装。而且提供的免费功能就能满足日常…...
二维FDTD算法仿真
二维FDTD算法仿真，并带完全匹配层，输入波形为高斯波、平面波 FDTD_二维/FDTD.zip , 6075 FDTD_二维/FDTD_31.m , 1029 FDTD_二维/FDTD_32.m , 2806 FDTD_二维/FDTD_33.m , 3782 FDTD_二维/FDTD_34.m , 4182 FDTD_二维/FDTD_35.m , 4793...
CppCon 2015 学习:Reactive Stream Processing in Industrial IoT using DDS and Rx
“Reactive Stream Processing in Industrial IoT using DDS and Rx” 是指在工业物联网（IIoT）场景中，结合 DDS（Data Distribution Service） 和 Rx（Reactive Extensions） 技术，实现 …...