PROVISO：按信息来源判断LLM智能体动作，安全与效用兼得

事件核心：发生了什么

PROVISO 定位在 LLM 智能体调用工具或第三方技能之前：它先把可信观测、外部观测、候选动作和一个替代动作写入带“来源类型（provenance-typed）”的记忆，再通过按角色设计的查询把各方关联起来，最后按从结果中学到的校准价值选择提交哪个动作。摘要给出的数据是：在覆盖智能体生命周期的四项安全任务中，没有基线在安全与效用两项上同时超过 PROVISO；相对最强基线，F1 在 SkillsBench 提升 13.84 点，在 ToolSafe 提升 7.07 点，另三个技能检测基准达到 88-99 的 F1。需要说明的是，以上均来自论文摘要，全文实验尚未核验，也不代表已有可用的产品。

为什么重要

现有方案多是在孤立语境下判断某个提议动作是否安全，既不区分内容来自用户还是工具输出等外部通道，也不与可替代动作比较，安全性和可用性往往此消彼长。PROVISO 把“来源”和“替代方案”纳入决策，等于给智能体加了一层执行前的动作仲裁。若其结论在更大范围成立，这一思路可能影响智能体安全中间件、工具调用 API 和第三方技能审核等环节的设计方向，而不只是做一个内容过滤器。

对用户/开发者/创作者的影响

对开发者来说，值得关注的是引入来源标记和候选动作比较后，规划与调用链的延迟和 token 开销是否可接受，以及能否嵌入现有 Agent 框架。对企业采购方，这类控制器的价值取决于它在真实业务工具集上的误拦率和漏拦率。对创作者和普通用户，更直接的体验可能是智能体在执行删除、发布、支付等不可逆操作前更谨慎，但具体效果目前只能以摘要数据为参考。

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。

值得关注的后续

一是论文是否公开更多实验细节，包括任务设置、基线选择和失败案例；二是是否有开源实现或框架集成，让开发者可以复现并测试自己的工具链；三是后续是否有厂商把它转化为 API 或智能体安全产品，并在真实业务中给出独立评测。

来源：arXiv cs.AI