一句话看懂：亚马逊云科技团队在 ICML 上提出一种“依赖感知”的 LLM 评委聚合方法，用 Ising 模型识别多个评审模型之间是否只是“同源同错”，在三个任务上比加权多数投票基线准确率提升 9%–14%，论文时间标注为 2026 年 8 月 26 日。
事件核心：发生了什么
在 LLM-as-a-judge（用大模型做评审）的常见做法中，为了降低噪声，系统会请多个模型对同一条结果打分，再按多数票或按历史准确率加权的多数票得出结论。但亚马逊的研究者 Krishna Balasubramanian、Sasha Podkopaev，与 Shiva Kasiviswanathan 合作发表的论文指出：当这些评审模型共享提示词模板、训练数据血脉、模型家族或同一盲点时，它们的“一致”很可能只是重复同一个错误，票数会高估证据的独立性。论文将评委团视为一张网络，用 Ising 模型同时建模单个评委的可靠性和评委两两之间的依赖关系，在无人工标注的设定下推断真实标签，并在相关性分类、毒性检测、摘要评估三个任务、10 名评委的配置上，相对最优加权多数投票基线取得 9%–14% 的准确率提升。
为什么重要
当前不少 AI 应用把大模型评审当作自动打分和 RLHF 数据筛选的基础设施，评估结果直接影响检索增强生成、内容安全和模型迭代的走向。如果评审团成员来自同一批基座或相似提示，看似“10 票一致”的背后可能只有两三份独立证据，评估管线会系统性高估自身质量。这项研究把“评委多样性”从一句经验判断变成可统计、可量化的指标，意味着评估环节本身也需要像模型训练一样做去相关处理，而非简单堆模型数量。
对用户/开发者/创作者的影响
对搭建评估管线的开发者来说，最直接的启示是：不要只看票数和准确率权重，还应检查评委之间的同意是否异常聚集，给高相关评委的“冗余票”打折，并报告经相关性调整后的置信度。对企业采购和内容平台而言，这意味着供应商声称的“多模型投票”并不等于多份独立判断；对创作者，若平台用大模型自动判定内容相关或违规，减少同源误判也能降低被系统性误伤的几率。目前公开信息显示，该方法属于无监督设定，不依赖人工参考标签，落地时需自行评估评委池的组成。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是这套依赖感知聚合是否会进入 Amazon Bedrock 等评估工具或开源评测框架，变成可调用的 API；二是当评委数量增加到几十个、模型差异更大时，Ising 模型的推断成本与效果是否仍然成立；三是各大模型厂商在宣传“评审委员会”方案时，会不会开始披露评委间的相关性指标。
来源：Hacker News
