OCR MLLM Evaluation

为什么需要评测体系？——背景与矛盾

​​

• 能干的事：​​ 看清楚发票、身份证上的字（准确率>90%），速度飞快（眨眼间完成）。
• ​​干不了的事：​​ 碰到复杂表格（合并单元格）、跨页合同（前后条款关联）、模糊发票（猜意思）就懵圈了。

传统OCR的瓶颈

• 优势：

  • 文字识别准确率 >90%
  • 响应快（毫秒级）
  • 广泛应用于票据、合同等场景

• 短板：

  • 难以处理复杂结构，如合并单元格表格、跨页合同逻辑、模糊发票语义推断

多模态大模型（MLLMs）的崛起

• 能力：

  • 视觉问答、图文推理、信息提取
  • 展现强大泛化能力

• 现实挑战：

  • 在 OCRBench v2 测试中，22个主流模型有20个得分低于50分（满分100）

• 暴露问题：

  • 找不准字的位置（文本定位差）。
  • 看不懂手写的字（手写识别弱）。
  • 理解不了文字背后的逻辑（推理不行）。
  • 在专业领域（金融、医疗）容易出错。

核心矛盾

• MLLMs 宣称“全能”，但在关键行业（金融/医疗/政务）仍不可靠。
• 评测体系成为筛选可靠模型的“照妖镜”。

评测体系全景图——19个关键基准解析

按任务类型分类速览

评测方向	代表基准	核心任务	发现的问题
文字识别（OCR）	OCRBench v2、CC-OCR	多语言文本、复杂排版、手写体识别	对生僻字、模糊文本、多方向文字识别率低
图表理解	ChartX、ChartY、MMC	数据提取、趋势分析、图表转表格	常误读坐标轴、混淆数据关系
表格解析	TableVQA-Bench、ComTQA	表格结构识别、跨单元格推理、数学计算	图像表格识别精度远低于纯文本表格
文档理解	Fox、ConTextual	跨页合同关联、区域聚焦翻译、上下文推理	难以定位细粒度信息
视频推理	Video-MME	长视频事件链理解、跨模态分析	＞1小时视频理解准确率骤降
专业领域	DesignQA	工程图纸合规判断、规则文档关联	专业术语和图纸符号理解错误率高
基础感知	BLINK	相对深度判断、图像篡改检测	人类秒懂的任务，模型正确率仅50%左右

典型案例

• GPT-4V 在医疗图表分析中误读数据，导致诊断建议错误
• Gemini 在金融合同跨页条款关联中漏判关键信息

评测体系揭示的行业真相

MLLMs 尚未颠覆传统OCR

• 简单场景：传统OCR仍占优（速度快、成本低）
• 复杂场景：MLLMs有潜力但需针对性优化（如金融表格用Fox基准调优）

模型能力严重不均衡

• 图文描述能力强 ≠ 专业推理能力强（e.g. 能写诗但算错财务报表）
• 英文表现好 ≠ 中文表现好（CC-OCR 显示中文OCR准确率低15%+）

幻觉问题无处不在

• 在模糊图像中“脑补”错误文本（ConTextual 基准中错误率 ↑30%）
• 专业领域“一本正经胡说八道”（DesignQA 中合规判断错误率超40%）
• 大模型容易“幻觉”瞎编：​​ 看不清或看不懂时，它们倾向于​​自信地胡说八道​​（比如编造发票号码、误读图表数据），这在要求​​零错误​​的金融、医疗场景非常危险！评测就是用来暴露这些毛病的。

建议

选模型先看评测

• 金融场景：关注 Fox（文档）、ComTQA（表格）
• 医疗场景：优先 ChartX（医学图表）、MMC（报告理解）
• 多语言需求：验证 CC-OCR、Omni AI OCR 成绩

​​选模型要看“考分”：​​ 如果你的需求是：

• 理解复杂合同/跨页文档 → 重点看 ​​Fox​​ 成绩。
• 解析财务报表图片 → 重点看 ​​ComTQA​​、​​TableVQA-Bench​​ 成绩。
• 看懂医学影像报告图表 → 重点看 ​​ChartX​​、​​MMC​​ 成绩。
• 需要多语言识别 → 重点看 ​​CC-OCR​​、​​Omni AI OCR​​ 成绩。

警惕“通用模型”宣传

• 即使 GPT-4V/Gemini 也在专业场景翻车，垂直领域仍需微调
• 开源模型（如 Table-LLaVA）在表格任务已接近 GPT-4V，成本更低
• ​​ 没有哪个模型真能在所有方面都拿高分。它们在特定任务上可能很强，但在另一些任务（尤其是需要精准、逻辑、专业知识的）上很弱。
• ​​别急着扔掉“认字高手”：​​ 对于只要求看清标准票据、身份证上字的应用，又快又准又便宜的传统OCR还是​​首选​​！大模型在这上面没优势还更贵更慢。

未来方向

• 评测体系本身在进化：从单任务 → 多任务耦合（如 MMT-Bench）考题越来越难，越来越贴近真实复杂场景。
• 模型优化新思路：
  • 增加“感知验证层”（如 ChartVLM 先解析结构再推理）
  • 注入领域知识（DesignQA 证明专业数据提升合规判断准确率20%+）
  • 针对特定短板（比如表格）训练专用模型效果更好（如 ​​Table-LLaVA​​）
  • ​​融合是趋势：​​ 最佳方案可能是让“认字高手”（传统OCR）先提取准确文字，再让“学霸”（大模型）去理解推理，各司其职。

“OCR 与多模态大模型不是替代关系，而是协作进化——评测体系如同导航仪，在技术爆发期帮企业绕过陷阱，驶向真正可靠的落地场景。”