150万规模！深势开源科学图像界ImageNet，AI终于能看懂论文图表了

150 万图文对、500 万子图全面覆盖 300 科学子学科。深势开源 OmniScience让 AI 真正读懂科研文献图表。跨越“盲区”让AI真正读懂科学影像在科学研究日益数字化的今天大模型已经能够高效处理书籍与文献中的文本信息。不过如果让当下的多模态大模型去“读懂”一篇顶级科研论文其往往会在复杂图表前止步。问题不只在模型更在数据现有多模态数据集在科学场景中长期存在来源单一、图文对稀缺、缺乏子图级对齐与上下文关联等结构性缺陷使模型只能“看见”却难以“理解”。如何让 AI 真正“读懂”科研文献中复杂的科学图像仍是“AI for Science”领域亟待突破的核心问题。近日基于深势科技DP Technology自研的 Uni-Parser 科学文献解析框架科研团队发布了大规模科学多模态数据集 OmniScience堪称“科研图像领域的 ImageNet”。该数据集构建于 150 万篇顶级学术文献中的图像-标题-上下文三元组之上并经由多模态大模型重新标注Re-Caption旨在突破多模态模型在科学图像理解方面的能力瓶颈。数据集https://huggingface.co/datasets/UniParser/OmniScience论文链接https://arxiv.org/abs/2602.13758OmniScience 不是简单扩充数据规模而是从数据层面重构科学图像的表达方式推动模型从“识别内容”走向“理解知识”。数据集包含约 150 万组高质量图文对更新至 2025 年 9 月 25 日基于 Uni-Parser 从约 30 个开放获取来源中筛选高影响力期刊与高下载量预印本提取图像、子图及其正文引用段落构建细粒度图文关联结构。150万级超大规模打造科学图像领域的“ImageNet”OmniScience 数据集不仅在规模上实现跃升在专业覆盖与数据质量上同样达到新的高度海量规模包含 150 万组“图-文-上下文”三元组细化出超过 500 万个子图整体数据体量突破 700GB总计超过 43 亿 tokens。学科覆盖覆盖化学、生物、材料科学等 10 大核心科学领域延伸至 300 子学科——从数学、物理、化学、生物、药学、医学、材料、计算机等基础领域到量子计算、合成生物学、天体物理等前沿方向并涵盖神经经济学、计算社会学等交叉学科兼具广度与代表性。高质量 Re-Caption团队提出基于动态模型路由Model Routing的 re-caption 方法融合 Gemini-3-Pro、GPT-5、Qwen3-VL-235B 等前沿多模态模型在参考原始 caption 与上下文的基础上对图像进行深度解析与重描述生成更高信息密度、更准确且自洽的文本。该方法将 Qwen3-VL-Reranker-8B 上的 reranker score 从 0.769 提升至 0.956显著增强图文深层语义对齐能力同时将 caption 平均长度由 106 词提升至 361 词。Uni-Parser深势自研“工业级”解析底座作为深势科技在科学文献理解领域的“基础设施”Uni-Parser是一个专为科学文献解析场景打造的工业级 PDF 解析框架。它能够精准识别并解析科学文献中复杂的版面结构将非结构化的 PDF 转化为包含图像、公式、表格的高质量结构化数据最终文献的版面将会被组织成树结构。对于科学文献中的图像而言将会与 Caption 匹配组成一个 Group。而每秒突破 20 页的解析速度也使得大规模批量化解析成为可能。正是依托于 Uni-Parser 强大的解析能力团队得以为 OmniScience 提供精准的图文对关联以及上下文关联Context-aware的数据支持确保每一张科学图像都能与其在原文中的论述逻辑紧密结合。〓 Uni-Parser-LD 提供了分组的版面识别能力为图文对抽取提供了可能炼金之术动态路由与多级质控下的“高保真”重描述为了让模型真正理解复杂的科学图像OmniScience 不仅仅是简单地提取原始数据更通过一套极其严密的动态模型路由重描述流水线Dynamic Model-routing Re-captioning Pipeline对数据进行了“深度加工” 。这一流水线的核心在于其“因材施教”的智能路由机制精准路由系统会根据图像的学科领域和视觉类型如 SEM 显微镜图、NMR 谱图、复杂化学结构式等动态地将任务分配给最擅长的模型。名“模”坐镇复杂实验测量数据由擅长多模态推理的Gemini-3-Pro处理长文本上下文则交给Gemini-3-Flash而逻辑严密的原理图和统计图表则由GPT-5深度解析。多维合成不同于传统的单一描述该流水线联合综合了视觉特征、原始标题Raw Caption以及正文中的引用上下文生成了信息密度极高且自成一体Self-contained的描述。为了确保学术严谨性团队还引入了多级数据质量评估。通过“模型作为裁判”LLM-as-a-judge机制从语言流利度、图文信息一致性、关键信息准确度及描述细节丰富度四个维度进行质控。任何被检测出存在“幻觉”或语义偏差的描述都会被送回重新生成直至达到学术级的准确标准。认知进化权威基准见证科学素养的“跨代”飞跃高质量的科学多模态数据不仅是规模的堆砌更是语义精确性的深层重构。实验证明经过OmniScience深度重描述Re-captioning处理后的数据集在语义对齐、模型下游任务表现以及逻辑推理代理评估中均实现了显著的性能增益。语义得分跃升研究团队采用Qwen3-VL-Reranker-8B作为评估引擎该模型利用单塔交叉编码器Single-tower Cross-encoder对图文对进行联合编码能提供更精确的实例级语义关联评价。实验结果显示通过OmniScience流水线生成的重描述其重排得分Re-ranker Score从原始数据的0.769 显著提升至 0.956。信息密度提升标注文本的平均长度由 106.2 词增长至360.6 词极大地丰富了模型训练所需的细粒度监督信号。〓 通过 re-caption pipeline极大地提升了图文相关性为了量化数据集对模型能力的实际提升团队在Qwen2.5-VL-3B模型上进行了全参数微调实验。并创新性地提出了CaptionQA评估范式旨在测试高保真描述是否能作为图像信息的“功能性代理”Functional Surrogate。在衡量专家级多模态理解能力的MMMU榜单上微调后的模型取得了0.140的绝对值提升在多轮科学对话基准MM-MT-Bench上增益更是达到了0.378。即使在专业性极强的领域如MSEarth地球科学遥感模型性能也实现了0.083的增长。〓 LLM-as-Judge 证明了在 OmniScience 上微调的模型具备优于基线和其他数据集的能力。此外我们通过LLM-as-a-judge机制OmniScience 在语言流利度Fluency、图文信息一致性Consistency、关键信息抽取准确度Accuracy及细节描述的详细程度Detail四个维度上均一致优于所有基线数据集。总结从 Uni-Parser 这一强大的解析底座到 OmniScience 150 万规模的高精度语料深势科技正致力于构建 AI for Science 的坚实基石为全球科研社区提供最底层的 AI 基础设施。我们相信OmniScience 的发布将成为通往“AI 科学家”道路上的重要里程碑。通过让 AI 真正掌握科学文献中的视觉语言我们将加速科学发现从“手动时代”向“自动时代”的跨越。现在在「知乎」也能找到我们了进入知乎首页搜索「PaperWeekly」点击「关注」订阅我们的专栏吧·