当前位置： 首页 > news >正文

Molmo和PixMo：为最先进的多模态模型提供开放权重和开放数据

news 2026/5/13 2:32:11

摘要

https://arxiv.org/pdf/2409.17146
当今最先进的多模态模型仍然是专有的。性能最强的开源模型严重依赖专有视觉语言模型（Vision-Language Model，简称VLM）的合成数据来获得良好性能，有效地将这些封闭模型提炼为开放模型。因此，业界仍然缺少关于如何从零开始构建高性能VLM的基础知识。我们提出了Molmo，这是一个在其开放性类别中处于最前沿的新VLM系列。我们的关键创新在于一个全新且高度详细的图像字幕数据集，该数据集完全基于人类注释者使用语音描述收集而成。为了实现广泛的用户交互，我们还引入了一个用于微调的多样化数据集组合，其中包括野外问答（Q&A）和创新性的二维指向数据。我们方法的成功取决于模型架构细节的精心选择、经过良好调整的训练管道，以及最关键的是我们新收集的数据集的质量，所有这些都将被公开。Molmo系列中性能最佳的720亿参数模型不仅在开源权重和数据模型类别中优于其他模型，而且在学术基准测试和人工评估方面与GPT-4o、Claude 3.5和Gemini 1.5等专有系统相比也毫不逊色。

我们将在不久的将来发布我们的所有模型权重、字幕和微调数据以及源代码。部分模型权重、推理代码和演示可在https://molmo.allenai.org上获取。

1. 引言

除了处理文本外，还能处理图像的大型语言模型（Large Language Model&

相关文章：

Molmo和PixMo：为最先进的多模态模型提供开放权重和开放数据

摘要 https://arxiv.org/pdf/2409.17146 当今最先进的多模态模型仍然是专有的。性能最强的开源模型严重依赖专有视觉语言模型（Vision-Language Model，简称VLM）的合成数据来获得良好性能，有效地将这些封闭模型提炼为开放模型。因此，业界仍然缺少关于如何从零开始构建高性能…...

编程日记 2024/10/23 20:26:42

day02_计算机常识丶第一个程序丶注释丶关键字丶标识符

计算机常识 计算机如何存储数据 计算机世界中只有二进制。那么在计算机中存储和运算的所有数据都要转为二进制。包括数字、字符、图片、声音、视频等。 进制 进制也就是进位计数制，是人为定义的带进位的计数方法 实例： // 在java 中 可以使用不同…...

编程日记 2024/10/23 20:25:41

【Trick】IOS系统解决“未受信任的企业级开发者”问题

问题： 本人通过扫码下载了一个软件，下载完毕后出现以下提示： 解决方法： 这个主要是操作系统的问题，需要在设置里面更改，具体步骤如下： 【1】打开设置，选择【通用】 【2】选择【VP…...

编程日记 2024/10/23 20:23:39

理解 React 中的 ReactElement、children 和 ReactNode

1. 什么是 ReactElement？ ReactElement 是 React 用来描述 UI 界面元素的最基本的对象，是构建虚拟 DOM 的核心元素。 定义：ReactElement 是不可变的对象，表示界面中的某个元素。它包含了用于渲染 UI 所需的信息，如元…...

编程日记 2024/10/23 20:20:35

纯血鸿蒙正式登场，华为这新机给我看傻了

从 vivo 率先开炮 X200 系列，手机的白热化战斗序幕马上也就要揭开了。 就在昨天，骁龙于夏威夷召开骁龙峰会。 性能提升和咱们以往的爆料差距不大。 只是高通又双叒叕给自己改名了。新命名为 Snapdragon 8 Elite，官方翻译是骁龙 8 至尊版。 …...

编程日记 2024/10/23 20:19:34

c语言中的%运算和/运算

在C语言中，%运算和/运算分别表示取模运算和除法运算。以下是它们的详细解释和用法： 1. % 运算（取模运算） 取模运算用于计算两个整数相除后的余数。语法如下： result a % b; a 是被除数。b 是除数。result 是 a 除…...

编程日记 2024/10/23 20:18:32

【MySQL】多表查询——内连接，左/右连接

目录 准备工作 1.多表查询 2.INNER JOIN（内连接） 2.1.笛卡尔积 1.2.笛卡尔积的过滤 1.3.INNER JOIN（显式内连接） 1.4.SELF JOIN（自连接） 3. LEFT JOIN（左连接） 3.1.一个例子…...

编程日记 2024/10/23 20:16:29

Naicat连接本地CentOS 7虚拟机上的MySQL数据库失败解决办法

注意：Navicat主机栏填的是Centos虚拟机的IP地址 一、检查mysql容器 确保网络正常、保证mysql容器处于运行中且用户名、密码和端口正确。 1、查看mysql容器是否运行 docker ps2、查看mysql容器详细信息，可查看端口 docker inspect mysql二、检查防火墙…...

编程日记 2024/10/23 20:14:27

transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010)的计算过程

cifar10数据集的众多demo中，在数据加载环节，transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010)这条指令是经常看到的。这是一个 PyTorch 中用于图像数据标准化的函数调用，它将图像的每个通道的值进行标准化处理&…...

编程日记 2024/10/23 20:13:26

Excel表格如何修改“打开密码”，简单几步，轻松搞定

在保护Excel文件的安全性时，设置打开密码是常见且有效的方式。然而，有时我们需要修改已经设置的打开密码，以确保文件安全性或更新密码信息。今天小编来分享一下修改Excel文件打开密码的方法，操作简单，一起来看看吧&…...

编程日记 2024/10/23 20:12:25

pandas 数据分析实战

一、pandas常用数据类型 series，带标签的一维数组。类似于字典，但是键作为索引。 datatimeindex，时间序列。 dataframe，带标签且大小可变的二维表格结构。 panel，带标签且大小可变的三维数组。 1.一维数组与操…...

编程日记 2024/10/23 20:09:22

antd vue 输入框高亮设置关键字

<highlight-textareaplaceholder"请输入主诉"type"textarea"v-model"formModel.mainSuit":highlightKey"schema.componentProps.highlightKey"></highlight-textarea> 参考链接原生input&#xff0c;textarea demo地址 …...

编程日记 2024/10/23 20:07:20

python——扑克牌案列

斗地主发牌程序&#xff1a; 模拟一个斗地主发牌程序&#xff0c;实现对三个玩家进行手牌的派发&#xff0c;实现功能&#xff1a; ********** 欢迎进入 XX 斗地主 ********** 请输入玩家姓名&#xff1a;<用户控制台输入 A> 请输入玩家姓名&#xff1a;<用户控制台输…...

编程日记 2024/10/23 20:06:18

Java最全面试题-＞Java基础面试题-＞JavaWeb面试题-＞Git/SVN面试题

文章目录 Git/SVN面试题Git和SVN有什么区别&#xff1f;SVN优缺点&#xff1f;Git优缺点&#xff1f;说一下Git创建分支的步骤&#xff1f;说一下Git合并的两种方法以及区别&#xff1f;Git如何查看文件的提交历史和分支的提交历史?什么是 git stash&#xff1f;什么是git sta…...

编程日记 2024/10/23 20:05:17

引进Menu菜单与新增验证上传图片功能--系统篇

我的迭代小系统要更新2点。一是后台需要引进一种导航&#xff0c;众多导航之中我选择了Menu菜单。二是上传图片接口需要新增验证上传图片环节。先看看更新2点后的效果 引进Menu菜单效果如下&#xff0c;这部分修改后台前端代码 引进Menu菜单后&#xff0c;Menu菜单的默认数据我…...

编程日记 2024/10/23 20:04:15

安装Python及pip使用方法详解

一、安装Python Python是一种广泛使用的高级编程语言&#xff0c;其安装过程相对简单。以下是具体步骤&#xff1a; 访问Python官网&#xff1a; 打开浏览器&#xff0c;访问Python的官方网站[python.org](https://www.python.org/)&#xff0c;确保下载的是最新版本的Python安…...

编程日记 2024/10/23 20:03:12

利用Arcgis进行沟道形态分析

在做项目的时候需要学习到水文分析和沟道形态分析的学习&#xff0c;所以自己摸索着做了下面的工作和内容。如有不对请多指正&#xff01;&#xff01; 一、沟道形态分析概述 沟道形态分析是水文分析的一个重要方面&#xff0c;用于研究河流的形态和特征。沟道形态分析可以帮助…...

编程日记 2024/10/23 20:02:12

Excel：vba实现筛选出有批注的单元格

实现的效果&#xff1a;代码&#xff1a; Sub test() Dim cell As RangeRange("F3:I10000").ClearlastRow Cells(Rows.Count, "f").End(xlUp).Row MsgBox lastrow For Each cell In Range("a1:a21")If Not cell.Comment Is Nothing ThenMsgBox…...

编程日记 2024/10/23 20:00:10

RabbitMQ 发布确认模式

RabbitMQ 发布确认模式 一、原理 RabbitMQ 的发布确认模式&#xff08;Publisher Confirms&#xff09;是一种机制&#xff0c;用于确保消息在被 RabbitMQ 服务器成功接收后&#xff0c;发布者能够获得确认。这一机制在高可用性和可靠性场景下尤为重要&#xff0c;能够有效防止…...

编程日记 2024/10/23 19:59:09

【面试题】什么是SpringBoot以及SpringBoot的优缺点

什么是SpringBoot以及SpringBoot的优缺点 什么是SpringBoot SpringBoot是基于Spring的一个微框架,其设计目的是用来简化新Spring应用的初始搭建以及开发过程。 SpringBoot的优点 可以创建独立的Spring应用程序&#xff0c;并且基于其Maven或Gradle插件&#xff0c;可以创建可执…...

编程日记 2024/10/23 19:57:05

终极指南：如何用ChatLaw构建你的免费中文法律AI助手

终极指南&#xff1a;如何用ChatLaw构建你的免费中文法律AI助手 【免费下载链接】ChatLaw ChatLaw&#xff1a;A Powerful LLM Tailored for Chinese Legal. 中文法律大模型 项目地址: https://gitcode.com/gh_mirrors/ch/ChatLaw 面对复杂的法律问题&#xff0c;你是否…...

编程新知 2026/5/13 1:41:37

ARM GIC中断控制器架构与关键寄存器详解

1. ARM GIC中断控制器架构概述ARM通用中断控制器(GIC)是现代ARM处理器中负责中断管理的核心组件&#xff0c;它实现了复杂的中断分发和处理机制。GIC架构从v2版本发展到现在的v4版本&#xff0c;功能不断增强&#xff0c;支持多核处理、虚拟化扩展和安全隔离等高级特性。GIC主要…...

编程新知 2026/5/13 1:37:34

半导体供应链风险管理：从噪音中识别信号，构建韧性决策框架

1. 从一则旧闻看半导体产业的“噪音”与“信号”2013年春天&#xff0c;一则关于朝鲜可能威胁韩国三星和SK海力士内存芯片工厂的消息&#xff0c;在投资圈和部分科技媒体中泛起了一阵涟漪。一位来自俄亥俄州的投资者言之凿凿&#xff0c;指出全球65%的DRAM和55%的闪存产能集中在…...

编程新知 2026/5/13 0:49:00

技术生态依赖的实质与破局：从Android到自主可控的实践路径

1. 项目背景与核心议题解析最近在整理行业资料时&#xff0c;翻到一篇2013年的旧文&#xff0c;讨论的是当时中国工信部对国内移动产业过度依赖Android系统的担忧。虽然时过境迁&#xff0c;但文中提到的“技术自主可控”与“全球生态融入”之间的张力&#xff0c;在今天看来依…...

编程新知 2026/5/12 22:54:48

信息安全工程师-网络安全风险评估（下篇）：风险计算、工具应用

一、引言风险评估是软考信息安全工程师考试中风险管理模块的核心考点&#xff0c;分值占比约 8%-12%&#xff0c;涵盖客观题、案例分析题两类题型。从技术定位来看&#xff0c;风险评估是连接安全需求与安全建设的核心枢纽&#xff0c;其输出结果直接作为安全策略制定、安全措施…...

编程新知 2026/5/12 22:50:45

首次接入Taotoken时如何通过模型广场测试不同模型的响应效果

&#x1f680; 告别海外账号与网络限制&#xff01;稳定直连全球优质大模型&#xff0c;限时半价接入中。 &#x1f449; 点击领取海量免费额度 首次接入Taotoken时如何通过模型广场测试不同模型的响应效果 当你开始使用Taotoken平台&#xff0c;面对众多可选的模型&#xff0…...

编程新知 2026/5/12 22:29:25

大模型评测实战指南：从基准测试到业务落地的科学评估体系

1. 项目概述&#xff1a;为什么我们需要一个“大模型评测”清单&#xff1f;如果你最近也在关注大语言模型&#xff08;LLM&#xff09;的发展&#xff0c;可能会和我有一样的感受&#xff1a;兴奋&#xff0c;但也伴随着巨大的信息过载。几乎每天都有新的模型发布&#xff0c;…...

编程新知 2026/5/12 22:07:05

怎样3步掌握桌面自动化：智能鼠标键盘录制工具完整攻略

怎样3步掌握桌面自动化&#xff1a;智能鼠标键盘录制工具完整攻略 【免费下载链接】KeymouseGo 类似按键精灵的鼠标键盘录制和自动化操作 模拟点击和键入 | automate mouse clicks and keyboard input 项目地址: https://gitcode.com/gh_mirrors/ke/KeymouseGo Keymouse…...

编程新知 2026/5/12 20:59:31

贝叶斯深度学习不确定性估计：集成学习与MC-Dropout实战对比

1. 项目概述&#xff1a;为什么我们需要量化深度学习的不确定性&#xff1f;在自动驾驶汽车识别前方障碍物、医疗AI系统诊断病灶、或者机器人进行精细操作时&#xff0c;一个错误的预测可能导致灾难性的后果。传统的深度神经网络&#xff08;DNN&#xff09;在这些任务上表现出…...

编程新知 2026/5/12 20:01:04

为Claude Code配置Taotoken解决封号与Token不足困扰

&#x1f680; 告别海外账号与网络限制&#xff01;稳定直连全球优质大模型&#xff0c;限时半价接入中。 &#x1f449; 点击领取海量免费额度 为Claude Code配置Taotoken解决封号与Token不足困扰 应用场景类&#xff0c;针对频繁使用Claude Code作为编程助手但受限于官方限制…...

编程新知 2026/5/12 20:01:02