ICML Desk Reject 引发热议，AI审稿究竟该如何科学检测

今天 ICML 2026 的一批 desk reject 结果出来之后学术圈又炸了一次。起因其实很简单有不少人发现——部分论文被 desk reject理由是 reviewer 使用了 LLM 写 review。更具体一点有人晒出的 rejection comment 里写得很直接reviewer violated LLM reviewing policy并检测到 LLM 使用痕迹一时间Twitter/X 上各种声音都有。但如果把情绪先放一边这件事本身其实很值得认真聊一聊。1. ICML 今年到底做了什么先说结论ICML 2026 确实在“主动检测 reviewer 是否用 LLM”而且不是传统那种“文本检测器”而是一个更激进的方案——watermark-based detection带诱导的隐式水印机制本质简单讲人话版核心思路类似“钓鱼检测”canary tokenICML 在提交的 PDF 中插入隐藏信息/提示如果 reviewer把论文直接丢进 LLMLLM 读到了这些隐藏 prompt就会在生成的 review 里带上某些“特定短语”ICML 只需要检测这些短语 → 就能判断你用了 LLM换句话说这是一个不是检测“像不像 AI”而是检测“有没有喂给 AI”这种方法在安全领域其实很常见本质属于in-context watermark / prompt injection detection为什么 ICML 要这么做看官方 policy其实动机不难理解ICML 今年采用双政策体系Policy A / Policy B有的 reviewer完全禁止用 LLM有的 reviewer允许辅助但不能让 LLM 做判断但现实问题是“大家嘴上说不用实际上呢”所以他们明确提到会使用自动化工具来检测 LLM 使用情况但不保证完全准确watermark本质就是这个“自动化工具”的一种实现。2. 支持 vs 反对争议点在哪这件事之所以炸不是因为技术而是因为“感觉不对”。 支持者这是必要的“反作弊机制”支持方的逻辑很直接reviewer 把论文丢给 LLM → 本质是外包判断这会降低 review 质量破坏 peer review 的信任基础watermark detection比传统 AI detector 更可靠不用猜“语言风格”而是直接抓“行为”一句话总结这是在防止 reviewer 把责任甩给模型 反对者这更像“以暴制暴”反对声音其实更大而且有几个关键点1. 不透明最大的问题是reviewer 并不知道自己在被“下套”这和普通规则 enforcement 不一样更像是你在考试但题目里埋了 trap一旦踩到就直接判作弊很多人觉得这已经越过了“合理监管”的边界。2. 误伤风险虽然 watermark 理论上很精确但现实中reviewer 可能用了工具做摘要但没让模型判断或无意触发某些 patternICML 自己也承认detection 并不是 infallible不是万无一失这就带来一个问题desk reject 的代价是否过高3. 一条更“干净”的路线检测“判断”而不是“文本”这正是最近一篇很有意思的论文在做的事论文Whos Your Judge? On the Detectability of LLM-Generated Judgments链接https://arxiv.org/abs/2509.25154这篇论文抓住了一个很容易被忽略的现实在很多场景里文本本身并不可靠甚至根本不存在。例子 1reviewer 会“洗稿”一个 reviewer 可能会用 LLM 生成完整 review再自己手动删 AI 味改写句子压缩表达最后提交的版本看起来很自然可以绕过各种 AI detector但核心判断其实已经来自 LLM 这时再去“检测文本”其实已经没有意义。例子 2根本没有文本只有评分很多真实系统里只有打分score偏好选择A / B标注标签比如conference review 分数RLHF 数据众包标注标注员完全可以把内容丢给 LLM让它给判断自己再点提交 最终你拿到的只有(Candidate, Score)没有任何文本可以分析。 所以这篇论文的关键转变是从“文本检测”转向“判断检测”也就是不再问“这段话像不像 AI 写的”而是问这个判断是不是 AI 做的4. 怎么抓出“AI裁判”靠的不是玄学是“偏见”既然不看或者没有文本那靠什么来抓 AI这篇论文提出判断一个打分是真人给的还是 AI 给的关键在于捕捉两种特征 打分内在特征说白了就是“打分分布的规律” 。在多维度的评审中人类和 AI 给分的高低错落感和分布模式是完全不同的 。打分与文本的交互特征这是重点也就是“分数”和“被评文章”之间的猫腻 。现有的很多小模型文本检测器根本抓不到这种交互信息所以在只有单维度打分的任务中直接变成了“瞎猜” 。5. J-Detector 闪亮登场不用大炮打蚊子为了精准识别出 AI 裁判作者们搞出了一个叫J-Detector的检测器 。特别接地气的是它没有搞什么花里胡哨的百亿参数大模型而是用了极其轻量级、可解释性极强的机器学习模型比如 Random Forest、LGBM、XGB 等 。它的核心秘籍在于提取了两大类特征把 AI 的“狐狸尾巴”揪得死死的大模型增强特征作者用大模型去反向提取文本的“表面光鲜度”风格、排版、措辞等和特定的评价维度 。因为研究发现AI 裁判骨子里特别容易被这种“表面功夫”给唬住产生虚假的偏好 。语言学特征就是一些底层的统计指标 。比如文章长度AI 喜欢长篇大论、词汇多样性AI 偏爱词藻华丽、句法复杂度AI 喜欢复杂的从句还有语篇特征比如 AI 爱用充满自信的语气词和连接词 。6. 扒一扒 AI 裁判的“癖好”它到底偏爱什么样的论文有了 J-Detector作者在四个不同场景的数据集上跑了跑实验结果可以说是“薄纱”全场 。相比于传统的文本检测模型RoBERTa 等在只有分数的场景下命中率暴跌到50%左右跟抛硬币没区别J-Detector 依然能稳稳维持在85%到92%的高分 。更有意思的是由于 J-Detector 是可解释的作者直接用它量化了 AI 裁判的“偏见” 在 NeurIPS 评审和 Helpsteer2 数据集里AI 裁判的底裤都被扒穿了 “复杂控”与“迷之自信”AI 裁判特别容易给结构复杂、语气非常自信的回答打高分 。“长篇大论就是好”经典的长度偏见依然存在只要写得长AI 就觉得你牛 。“颜值即正义”表面排版和风格好看同样能骗过 AI 裁判的眼睛 。7. 什么情况下的 AI 裁判最容易翻车吃瓜吃到这大家肯定想问作为被评审的人或者摸鱼的审稿人在什么样的情况下AI 打分最容易被查出来论文给了几个非常实用的结论 干得越多死得越快批量大小如果你只让 AI 审了一篇那确实难抓 。但如果你批量丢给 AI 审比如一次审 16 篇它在群体上暴露的规律性瞬间拉满检测准确率直线飙升 。打分越细马脚越多打分维度与颗粒度让你给 5 个维度创新性、合理性等分别打分比只给 1 个综合分更容易暴露 。同理如果打分区间是非常细的标尺AI 也很容易露出非人类的死板习惯 。这里还有一个极为炸裂的发现模型越强越难抓作者弄了个包含 20 种不同大模型的“检测排行榜” 。 像 GPT-4o、Claude 3.5 Sonnet 这种闭源顶流因为它们的输出更对齐人类的价值观LMArena 得分高所以它们做出的判断跟真实人类极度相似最难被揪出来 。而相对较小的开源模型那基本上是一抓一个准 。8. 终极杀招当“打分检测”遇上“文本检测”如果说 ICML 官方现在用的“钓鱼水印”是一种激进的防守那这篇论文提出的“打分判断检测”就是一种降维打击 。在现实的学术评审中有些审稿人为了防查重可能会交个 AI 打的分但把文字评审写得很短甚至用几个词敷衍了事比如写个 N/A 。在这种“文本缺失”的极端场景下如果把传统的文本检测和 J-Detector 结合起来使用检测准确率居然能直接飙到99.3%总结一下天下苦 AI 审稿久矣。但“道高一尺魔高一丈”既然你可以让 AI 帮你做决定那学术界自然也有办法通过你做决定的“姿势”把你揪出来 。对于广大学术打工人来说合理的 AI 润色是好帮手但把生杀大权彻底外包给大模型—— 你的 Judge可能马上就要被 Judge 了。