跨模态幻觉新解法：CaRe 在推理阶段纠正模态误路由，无需重训

事件核心：发生了什么

2026年10月13日，alphaXiv 页面展示了一篇关于全模态大模型跨模态幻觉的论文。作者发现，在音视频干扰下，一部分错误联合预测中，与问题相关的单模态分支其实仍能恢复正确答案，他们将这种可恢复的失败模式称为“模态误路由”。为此提出 CaRe（Conflict-aware Residual Intervention）：先用纯文本探针判断问题更依赖音频还是视频，再比较该单模态分支与原始音视频联合预测；只有两者明确冲突时才介入，利用二者隐藏表示的差异作为引导方向，调整解码器层状态，同时保留原始音视频推理路径。论文摘要称，在 CMM 和 AVHBench 上，CaRe 一致优于所评估的推理期幻觉缓解基线。

为什么重要

全模态大模型正被用于视频理解、智能助手和多模态 Agent，但音视频互相干扰导致的幻觉会直接损害可靠性。CaRe 的意义在于把问题从“重新训练大模型”转向“推理阶段动态纠偏”，不修改模型参数，也不替换原始模态信息。对算力和数据有限的团队而言，这类免训练方法可能更容易集成到现有 API 或推理服务中。不过目前公开信息仅基于论文摘要和 alphaXiv 概述，尚不能确认其在大规模产品环境中的稳定性与成本表现。

对用户/开发者/创作者的影响

开发者可关注这一思路能否用于音视频问答、内容审核和多模态 RAG 场景，尤其是在模型“答错但单模态能答对”的情况下。创作者和企业采购方则应保持谨慎：论文结果限定在 CMM 和 AVHBench 两个评测集及两种全模态模型上，不代表所有模型或真实业务都会获得同等提升。若后续有开源实现，可能降低多模态幻觉缓解的接入门槛；若仅停留在论文阶段，则短期内不会改变现有产品能力。

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。

值得关注的后续

一是 CaRe 是否会公开代码或集成到主流推理框架；二是它能否在更长视频、更多模态和闭源大模型上复现；三是推理延迟和额外探针调用带来的成本是否可接受；四是同类免训练纠偏方法是否会形成新的工程竞争点。

来源：alphaXiv