Molmo和PixMo：为最先进的多模态模型提供开放权重和开放数据

摘要

https://arxiv.org/pdf/2409.17146
当今最先进的多模态模型仍然是专有的。性能最强的开源模型严重依赖专有视觉语言模型（Vision-Language Model，简称VLM）的合成数据来获得良好性能，有效地将这些封闭模型提炼为开放模型。因此，业界仍然缺少关于如何从零开始构建高性能VLM的基础知识。我们提出了Molmo，这是一个在其开放性类别中处于最前沿的新VLM系列。我们的关键创新在于一个全新且高度详细的图像字幕数据集，该数据集完全基于人类注释者使用语音描述收集而成。为了实现广泛的用户交互，我们还引入了一个用于微调的多样化数据集组合，其中包括野外问答（Q&A）和创新性的二维指向数据。我们方法的成功取决于模型架构细节的精心选择、经过良好调整的训练管道，以及最关键的是我们新收集的数据集的质量，所有这些都将被公开。Molmo系列中性能最佳的720亿参数模型不仅在开源权重和数据模型类别中优于其他模型，而且在学术基准测试和人工评估方面与GPT-4o、Claude 3.5和Gemini 1.5等专有系统相比也毫不逊色。

我们将在不久的将来发布我们的所有模型权重、字幕和微调数据以及源代码。部分模型权重、推理代码和演示可在https://molmo.allenai.org上获取。

1. 引言

除了处理文本外，还能处理图像的大型语言模型（Large Language Model&