一句话看懂：一篇 arXiv 论文对 11 款开源提示注入防护模型在法律合同场景下做了实测，发现文档级误报率最高达 92.39%，部分防护模型的效果甚至不如随机判断。这说明文档分析系统前置的防护层，在真实法律文本上可能还不可靠。
事件核心：发生了什么
这篇论文于 2026 年 11 月 9 日发布在 arXiv（编号 2611.08834v1），属于新投稿摘要，尚未披露是否经过同行评审。作者在两个法律合同语料库上评测了 11 款开放权重（open-weights）的提示注入防护模型，核心数据包括：文档级误报率最高 92.39%；两款防护模型在配对 AUC 上低于随机水平；一条仅由五个正则表达式组成的基线，在整个对比中未被任何防护模型全面压制。论文还用受控探针定位了模型特有的和普遍的失效模式，并测试了用提示词驱动的 LLM 来纠正这些失败，包括“未授权范围声明”这一所有防护模型得分为零的第二类威胁。此外，作者提出一种级联方案：用前沿模型验证中端模型判为正例的结果，成本比全程使用前沿模型低 6.5 倍，性能接近后者。需要注意，以上结论仅来自摘要，具体实验细节和泛化能力尚未核验。
为什么重要
提示注入防护常被当作文档分析、合同审查类 AI 应用的安全前置组件，但此前几乎没有公开的法律合同误报率数据。92.39% 的文档级误报意味着，大量正常合同可能被误挡或误标，直接影响可用性；低于随机的 AUC 则提示部分防护模型在该任务上缺乏稳定的判别能力。对行业来说，这暴露出“专用防护模型”路线在垂直文档场景中的短板，也说明简单的正则基线仍有参考价值。级联 LLM 方案给出了成本与效果的折中思路，可能影响企业选择自建防护还是依赖现成模型的决策。
对用户/开发者/创作者的影响
对使用合同审查、文档问答类 AI 应用的用户和企业采购方，目前公开信息显示，不能默认前置防护层已经足够可靠，误报会带来人工复核成本和流程阻塞。对开发者而言，直接调用单一开源防护模型处理法律文本需谨慎，论文建议的级联设计——中端模型先筛、前沿模型复核——在成本上更有优势，可作为架构参考。对关注提示注入红队测试的团队，原文提到的“未授权范围声明”是一类值得纳入测试集的新威胁类型，防护模型在此类攻击上全部得零分。整体上，论文没有给出可直接上线的产品结论，替代方案也仍待全文验证。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是论文全文是否公开实验设置、语料规模和误报率计算口径，影响结论的可复现性；二是级联 LLM 方案在合同以外的文档场景是否同样有效，以及 6.5 倍成本优势是否稳定；三是主流开源防护模型是否会据此更新版本或补充法律领域评测，企业侧的安全方案选型也可能随之调整。
来源：arXiv cs.AI
