论文 | ICLR 2026 | 大型视觉语言模型（LVLM）幻觉始于意识减弱之时
一句话看懂：上海交大、阿里、北大等机构联合研究发现，视觉语言模型产生幻觉的根源不是“看错了”，而是“忘了自己说过什么”。他们提出一个基于“显著性”指标的诊断工具 LVLMs-Saliency，能精准定位幻觉的发生时刻，并开发了实时抑制幻觉的双机制推理框架。
事件核心：发生了什么
这篇被 ICLR 2026 收录的论文发现，仅靠传统注意力权重无法可靠区分幻觉输出与事实输出。研究团队提出 LVLMs-Saliency，将注意力权重与输入梯度相乘，得到“显著性”分数，用于衡量每个已生成词元对预测下一个词元的实际影响力。通过分析模型在 Qwen2-VL、LLaVA-1.5 等多个主流 LVLM 上的生成过程，他们总结出一个决定性模式：当已输出的词元对下一个词元的显著性下降时，幻觉就会发生——模型本质上是在“遗忘”自己刚生成的内容。基于这一发现，他们提出了双机制推理时干预框架：SGRS（显著性引导拒绝采样）在解码阶段动态过滤与上下文关联薄弱的候选词元；LocoRE（局部连贯性强化）在后处理中增强当前词元对近期输出词元的注意力，对抗“遗忘”行为。
为什么重要
这项研究将幻觉诊断从“观察注意力图”推进到“测量信息传播强度”，提供了一个更精确的因果解释。以往方法仅依赖前向注意力，无法解释为什么模型会突然输出与图像和上下文都不符的内容。LVLMs-Saliency 揭示了幻觉与“上下文记忆保持能力”的直接关联——模型对自身输出的“记忆”一旦削弱，就会陷入幻觉。基于此，SGRS + LocoRE 框架在多个评测集上显著降低了幻觉率，同时保持了甚至提升了模型的通用 VQA 能力。这为构建更可靠的多模态大模型提供了可操作的诊断工具和干预手段。研究团队已将代码开源，有利于社区快速复现和扩展。
对用户/开发者/创作者的影响
对普通用户：未来使用基于视觉语言模型的应用时（如图片理解、多模态对话），幻觉相关问题有望显著减少。尤其是涉及具体物体识别、场景描述的场景，模型“信口开河”的可能性将降低。对开发者：可借鉴 SGRS 和 LocoRE 的即插即用设计，集成到现有推理流程中。如果对推理速度敏感，可仅使用 LocoRE（额外延迟<2%）即可获得大部分性能增益；若需要极致幻觉抑制，可启用完整框架（额外延迟约 30-40%）。对模型创作者：该工作提供了一种新的评估维度——显著性，可用于模型训练阶段的辅助监督信号或评估指标，帮助优化模型在长文本生成中的上下文依赖能力。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
1. 该框架是否会在工业级模型（如通义千问、InternVL 的后续版本）中集成，降低幻觉率的同时保持推理速度。
2. “高显著性幻觉”的边界问题：当模型自信地输出错误答案且显著性很高时，现有方法失效，这需要从训练机制或人类反馈层面进行改进，后续是否有团队跟进。
3. 该显著性指标能否扩展到其他类型的大模型任务（如纯文本语言模型的上下文记忆保持、图像生成模型的语义一致性检测），值得观察。
来源：Readhub · AI
