AI审稿人看不懂论文的改进？大规模研究揭示评审打分与修改脱节

一句话看懂：一项基于6959篇论文轨迹的研究发现，AI审稿人在多数实质性修改上不打分变化，且分数容易受用户简短负面评价影响。这提醒我们，AI评审的结论未必反映论文质量的真实提升。

事件核心：发生了什么

论文摘要显示，研究团队发布了PaperTrajectory-2026数据集，覆盖五个AI会议的6959篇论文轨迹，从14个维度标注修改内容并单独判断整体质量。研究使用八个AI审稿人对各版本独立打分，检验标注出的重大改进是否获得更高分数、哪些修改维度与分数变化相关，以及用户意见能否压过实际修改带来的收益。结果显示，多数重大改进并未改变审稿人分数，不同审稿人对分数变化方向的判断一致性较弱；修改维度与分数提升之间只有部分审稿人特有的关联，预测区分度有限，且在不同审稿人之间缺乏一致规律。即使某次修改获得更高的中性评分，一条简短的负面用户意见也可能抹去或逆转这一优势，且在不同审稿人之间差异明显。

为什么重要

AI审稿正被越来越多地用于评估科学稿件。如果审稿分数不能稳定反映论文的实际修改质量，那么依赖AI评分的会议筛选、期刊初审甚至企业研发评审都可能引入偏差。该研究把“修改轨迹”和“评审分数”放在一起对照，暴露出当前AI评审在科学证据与整体判断之间的脱节，也为设计更稳定的评审流程提供了数据基础。目前公开信息仅为论文摘要，全文实验细节和同行评审状态尚未核验。

对用户/开发者/创作者的影响

对使用AI评审工具的开发者而言，需要关注模型对“实质性修改”的敏感度，不能默认打分上升就等于质量提升。对科研作者和内容创作者来说，AI审稿分数可能受用户意见或表述框架影响，投稿前应更关注证据和框架的清晰度，而非单纯迎合评分。对采购AI评审服务的企业，应要求供应商说明评分稳定性测试方法，并在关键场景保留人工复核。