图文全对竟是假新闻！CVPR2026 开源方案识破 AI 伪造陷阱

本文约2000字建议阅读5分钟 本文介绍了 AI 多模态伪造陷阱、MDSM 数据集及 AMD 检测框架。AI 换脸、AI 造谣早已无孔不入一张篡改的图片、一段 AI 大模型写的通顺文案就能造出一条以假乱真的新闻搅动舆论、误导公众可现有检测系统却常常“视而不见”问题核心在于当前的假新闻检测技术像个只会找“图文错别字”的新手——它只认图文不匹配的低级伪造却对 AI 大模型打造的语义严丝合缝、逻辑毫无破绽的高欺骗性假内容彻底束手无策。政客换脸伪造的现场新闻、名人表情篡改搭配的虚假声明、真实画面搭配 AI 大模型编造的误导叙事…… 这些关键场景的识别与拦截正是多模态内容安全的“最后一公里”痛点。现有技术对此力不从心急需能识破“一致性陷阱”的新一代智能检测方案。西安交通大学、合肥工业大学和澳门大学的研究团队在 CVPR 2026 上提出从数据集构建到跨模态建模的全流程解决方案。论文、代码、数据集已全部开源立即探索多模态内容安全新范式论文名称The Coherence Trap: When MLLM-Crafted Narratives Exploit Manipulated Visual Contexts论文链接https://arxiv.org/abs/2505.17476代码 数据集https://github.com/YcZhangSing/AMD1、新挑战AI 大模型带来的「一致性陷阱」传统检测失灵不止找图文不匹配更要识破「看起来全对实则全假」的完美骗局〓 新挑战——图文一致的伪造右与传统的图文错位的伪造左的⽐较传统方案把视觉篡改和文本编辑拆成两个独立步骤造出来的假内容满是图文错位的破绽普通人都能一眼看穿上图左。而真实世界的恶意攻击早已用上了更隐蔽的套路先精准篡改图像再用 AI 大模型生成和篡改画面完全对齐、语境通顺的虚假叙事彻底抹平所有显性破绽上图右。这种“一致性陷阱”直接戳中了现有研究的两大致命短板低估 AI 大模型的欺骗风险主流方案只针对规则化的文本篡改完全忽视了 AI 大模型能生成高连贯、高迷惑性虚假内容的能力对新型攻击毫无防备与真实场景严重脱节现有数据集大多是人工制造的图文不匹配样本欺骗性极低训练出的模型在真实攻防中完全“水土不服”。2、44万图文基准MDSM 数据集发布还原真实世界的 AI 假新闻〓 新基准——大模型驱动的多模态伪造数据集MDSM与现有数据集的综合比较规模空前包含超 44.1 万高质量图文对源数据覆盖《卫报》《纽约时报》等五大主流媒体是目前多模态伪造检测领域规模最大的基准数据集。高度语义对齐业界首个全量样本实现图文语义完全对齐的基准完美复刻真实攻击场景检测难度指数级提升彻底告别“过家家”式的低难度训练。场景真实全面涵盖人脸换脸、属性篡改、文本伪造等 5 类核心伪造类型同时支持虚假内容检测、伪造类型识别、篡改区域定位三大核心任务。〓 大模型驱动的多模态伪造数据集MDSM的构建流程〓 大模型驱动的多模态伪造数据集MDSM的数据统计3、「伪影捕手」AMD 框架一眼看穿 AI 大模型的伪造套路〓 操纵诊断模型 (AMD) 的框架概述看懂“伪影”辨真假创新设计伪影预感知编码机制给模型装上“伪造雷达”专门捕捉篡改内容留下的隐性痕迹在保留海量世界知识的同时注入极强的伪造感知能力。“双路找茬”精准定位采用面向伪造的推理模块双分支交叉捕捉视觉、文本双模态的伪造线索同时精准定位图像中的篡改区域实现“是否造假哪里造假造了什么假”的端到端全流程识别。轻量化高效率仅用 0.27B 参数量就实现了超百亿级通用大模型的检测效果兼顾顶尖性能与极快推理速度极具风控场景应用落地潜力。4、实验结果性能全面领跑 SOTA效果惊艳核心性能拉满如表 2 所示在 MDSM 跨域测试中AMD 实现平均 88.18% ACC、60.25 mAP、61.02 mIoU 的顶尖成绩全面碾压 ViLT、HAMMER、FKA-Owl 等现有 SOTA 方案通用大模型集体失灵GPT-4o、Gemini 2.0、Qwen3-VL 等通用大模型在该场景下零样本检测效果几乎失效进一步印证了 AMD 的针对性优势超强泛化能力如表 3 所示在跨数据集 DGM4 测试中AMD 依然拿下平均 74.47% ACC 的最优成绩适配各类伪造场景落地性拉满小参数高性能如表 4 所示仅 0.27B 参数量在 RTX 4090 上推理速度可达 13.38 pairs/s兼顾精度与效率。5、为什么这很重要内容安全全面升级为社交媒体风控、新闻真实性核验、舆情防控等场景装上 “AI 假新闻识别引擎”精准拦截 AI 时代的高欺骗性虚假信息筑牢数字内容安全防线。行业研究破局拐点首次系统性揭示了 AI 驱动的一致性伪造风险填补了该领域的研究空白MDSM 数据集更是解决了长期以来“数据与真实场景脱节”的核心瓶颈推动整个领域的技术迭代。落地效率倍增轻量化、端到端的统一架构无需复杂的多模块组合即可实现全维度的伪造检测大幅降低产业落地门槛让 AI 内容安全技术真正能用、好用。编辑于腾凯校对龚力关于我们数据派THU作为数据科学类公众号背靠清华大学大数据研究中心分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识努力建设数据人才聚集平台、打造中国大数据最强集团军。新浪微博数据派THU微信视频号数据派THU今日头条数据派THU