多模态大语言模型arxiv论文略读（九十九）

PartGLEE: A Foundation Model for Recognizing and Parsing Any Objects

➡️ 论文标题：PartGLEE: A Foundation Model for Recognizing and Parsing Any Objects
➡️ 论文作者：Junyi Li, Junfeng Wu, Weizhi Zhao, Song Bai, Xiang Bai
➡️ 研究机构: 华中科技大学、字节跳动
➡️ 问题背景：当前的视觉基础模型在多种任务中表现出色，但它们在细粒度的部件识别和分割方面的能力有限。尽管对象级别的数据丰富，但部件级别的数据相对稀缺，这成为视觉模型在部件级别实例识别上的主要瓶颈。
➡️ 研究动机：为了克服数据限制，构建一个能够识别和解析任何对象及其部件的视觉基础模型，研究团队提出了PartGLEE，旨在通过利用大量的对象级别数据来增强模型的部件级别认知能力。
➡️ 方法简介：研究团队提出了一种轻量级的查询转换器（Q-Former），用于构建对象和部件之间的层次关系。Q-Former通过一组通用解析查询与对象查询交互，生成多个部件级别的查询，从而预测每个对象的相应语义部件。此外，研究团队还标准化了不同部件级别数据集的注释粒度，并引入了大量的对象级别数据集，以促进模型的训练。
➡️ 实验设计：实验在多个公开数据集上进行，包括对象检测、分割和部件分割任务。实验设计了不同因素的变化，如对象和部件级别的数据集组合，以及不同类型的评估指标，以全面评估模型在不同条件下的表现。实验结果表明，PartGLEE在对象和部件级别的任务上均取得了显著的性能提升，特别是在开放词汇的部件分割任务上表现尤为突出。

DexGANGrasp: Dexterous Generative Adversarial Grasping Synthesis for Task-Oriented Manipulation

➡️ 论文标题：DexGANGrasp: Dexterous Generative Adversarial Grasping Synthesis for Task-Oriented Manipulation
➡️ 论文作者：Qian Feng, David S. Martinez Lema, Mohammadhossein Malmir, Hang Li, Jianxiang Feng, Zhaopeng Chen, Alois Knoll
➡️ 研究机构: Agile Robots SE、TUM School of Information Computation and Technology (Technical University of Munich)
➡️ 问题背景：当前的机器人抓取技术在处理未知物体时，尤其是在使用多指灵巧手时，面临生成高质量抓取配置的挑战。现有的方法要么需要耗时的形状补全，要么只能生成单一的抓取方式，限制了其在任务导向型操作中的应用。此外，大多数任务导向型抓取方法要么局限于两指夹爪，要么依赖于人工标注的数据集。
➡️ 研究动机：为了克服现有方法的局限性，研究团队提出了一种基于条件生成对抗网络（cGAN）的灵巧抓取合成方法DexGanGrasp，该方法能够从单视图实时生成多样化的高质量抓取配置。此外，研究团队还扩展了DexGanGrasp，提出了DexAfford-Prompt，一种开放词汇的抓取点定位管道，利用多模态大语言模型（MLLM）和视觉语言模型（VLM）实现任务导向型抓取。
➡️ 方法简介：DexGanGrasp由DexGenerator、DexDiscriminator和DexEvaluator组成。DexGenerator基于cGAN生成多样化的抓取配置，DexDiscriminator区分真实和生成的抓取，DexEvaluator评估抓取的稳定性。DexAfford-Prompt进一步利用MLLM和VLM，根据用户定义的任务需求，识别并定位物体的特定部分，生成针对该部分的抓取。
➡️ 实验设计：研究团队在仿真和真实环境中进行了广泛的实验，包括对16个未知物体、8个KIT物体和8个YCB物体的抓取实验。实验评估了DexGanGrasp在生成抓取配置和评估抓取稳定性方面的性能，并与基线方法FFHNet进行了对比。实验结果表明，DexGanGrasp在抓取成功率和实时性能方面均优于FFHNet。

Dallah: A Dialect-Aware Multimodal Large Language Model for Arabic

➡️ 论文标题：Dallah: A Dialect-Aware Multimodal Large Language Model for Arabic
➡️ 论文作者：Fakhraddin Alwajih, Gagan Bhatia, Muhammad Abdul-Mageed
➡️ 研究机构: The University of British Columbia & Invertible AI
➡️ 问题背景：尽管多模态大语言模型（Multimodal Large Language Models, MLLMs）在生成和理解图像到文本内容方面取得了显著进展，但这些进展主要集中在英语上。由于缺乏高质量的多模态资源，其他语言（如阿拉伯语）的发展受到了限制。这不仅阻碍了这些语言中竞争性模型的发展，也影响了多模态交互的广泛性和深度。
➡️ 研究动机：为了缓解这一状况，研究团队引入了一个高效的阿拉伯语多模态助手——Dallah。Dallah基于先进的语言模型LLaMA-2，旨在促进多模态交互。通过微调六种阿拉伯方言，Dallah展示了其处理复杂方言交互的能力，结合了文本和视觉元素。此外，Dallah在两个基准测试中表现出色：一个评估其在现代标准阿拉伯语（MSA）中的表现，另一个专门设计用于评估方言响应。
➡️ 方法简介：研究团队提出了一种系统的方法，通过构建高质量的阿拉伯语多模态数据集，优化训练数据的选择和使用，确保Dallah能够使用反映阿拉伯世界语言多样性的高质量、相关多模态数据集进行微调。Dallah支持广泛的方言覆盖，成功地使用有限但高度代表性的方言数据对六种主要阿拉伯方言进行了微调。
➡️ 实验设计：实验在两个基准测试上进行，包括LLaVA-Bench（用于评估MSA）和Dallah-Bench（用于评估六种阿拉伯方言）。实验设计了不同的评估维度，如对话、详细描述和复杂推理，以全面评估模型在不同条件下的表现。此外，研究团队还通过模型评估和人工评估两种方式对Dallah进行了评估，确保评估的全面性和准确性。

Every Part Matters: Integrity Verification of Scientific Figures Based on Multimodal Large Language Models

➡️ 论文标题：Every Part Matters: Integrity Verification of Scientific Figures Based on Multimodal Large Language Models
➡️ 论文作者：Xiang Shi, Jiawei Liu, Yinpeng Liu, Qikai Cheng, Wei Lu
➡️ 研究机构: 武汉大学信息管理学院
➡️ 问题背景：科学图表在科学交流中扮演着重要角色，但目前的研究主要集中在数据驱动的图表（如饼图、线图和条形图）上，对于包含复杂领域特定信息的框架图和流程图的解析能力有限。此外，现有的模型在理解科学图表的详细方面存在显著不足，经常错误地识别图表中的元素或误解其空间和语义特征。
➡️ 研究动机：为了克服现有研究的局限性，本文提出了一项新的任务——图表完整性验证（Figure Integrity Verification），旨在评估模型在理解复杂科学图表时的能力。该任务要求模型不仅实现文本与图表组件之间的精细对齐，还要识别图表中未在文本中提及的组件，并通过图表理解补充这些组件的描述。
➡️ 方法简介：研究团队开发了一种半自动方法，构建了一个大规模的对齐数据集——Figure-seg，该数据集包含图表元素的空间和语义信息描述。此外，团队设计了一个名为“Every Part Matters”（EPM）的框架，利用多模态大语言模型（MLLMs）来实现文本与图表组件之间的精细对齐，并通过类比推理方法补充未对齐组件的描述。
➡️ 实验设计：研究团队在多个数据集上进行了广泛的实验，验证了所提出方法的有效性。实验结果表明，该方法在复杂科学图表的文本-图表对齐任务上显著超越了现有技术，特别是在CIoU和gIoU指标上分别提高了22.53%和45.13%。此外，该方法在检测未对齐图表组件方面也表现出色，CIoU和gIoU指标分别提高了4.90%和4.52%。

Graph-based Unsupervised Disentangled Representation Learning via Multimodal Large Language Models

➡️ 论文标题：Graph-based Unsupervised Disentangled Representation Learning via Multimodal Large Language Models
➡️ 论文作者：Baao Xie, Qiuyu Chen, Yunnan Wang, Zequn Zhang, Xin Jin, Wenjun Zeng
➡️ 研究机构: Ningbo Institute of Digital Twin, Eastern Institute of Technology, Ningbo, China; Shanghai Jiao Tong University, Shanghai, China
➡️ 问题背景：解缠表示学习（Disentangled Representation Learning, DRL）旨在识别和分解观察数据背后的潜在因素，从而促进数据感知和生成。然而，当前的DRL方法通常基于不切实际的假设，即语义因素在统计上是独立的。在现实世界中，这些因素可能表现出相关性，现有的解决方案尚未妥善处理这一问题。
➡️ 研究动机：为了克服现有DRL方法在复杂数据上的局限性，研究团队提出了一种基于图的双向加权框架，结合多模态大型语言模型（MLLMs），以学习解缠因素及其相互关系。该框架旨在实现细粒度、实用且无监督的解缠，同时提高模型的解释性和泛化能力。
➡️ 方法简介：研究团队提出了一种名为GEM（Graph-based disEntanglement framework with Multimodal large language models）的新型框架。GEM结合了β-VAE和MLLMs的优势，通过β-VAE提取属性，MLLMs发现并排名潜在的相关性，最终将这些关系嵌入到一个双向加权图（DisGraph）中。DisGraph将解缠因素表示为节点，相互关系表示为边，影响分数表示为权重。
➡️ 实验设计：研究团队在两个数据集上进行了实验，包括CelebA和LSUN。CelebA包含超过200,000张高质量面部图像，每张图像标注了40个二元属性标签；LSUN包含约100万张不同类别的图像，如汽车、建筑、动物等。实验评估了GEM在解缠能力、重建质量和计算效率方面的性能，并与现有的DRL方法进行了比较。实验结果表明，GEM在细粒度和关系感知的解缠方面表现出色，同时保持了良好的重建质量。