为什么人工智能会说谎？简明解释“幻觉”现象
一句话看懂：开发者 Rohini Gaonkar 在 AWS 的 Amazon Bedrock Playground 中，用同一问题测试了 Amazon Nova Micro 1.0 和 Claude Haiku 4.5 两个模型。结果显示，模型“幻觉”并非恶意说谎，而是生成的预测机制在填充知识空白，导致自信地输出错误内容。
事件核心：发生了什么
Gaonkar 在文章中指出，大型语言模型在回答“近期天琴座流星雨状况”和“Rohini Gaonkar 是谁”时表现出截然不同的行为：Nova Micro 1.0 以极其自信的语气编造了 2023 年之后的事件细节，并虚构了 Gaonkar 的学术履历；而较新的 Claude Haiku 4.5 则诚实表示训练数据截至 2024 年 4 月，并推荐用户查阅外部来源。这种“幻觉”现象本质上是模型在训练后冻结的情况下，无法识别知识边界时，自动预测出一个听起来合理的答案。
为什么重要
这一对比揭示了当前大模型行业的一个关键矛盾：模型被训练为生成流畅、有用的回答，而非诚实承认未知。训练截止日期是模型知识的确切边界，但多数模型（尤其是早期版本）缺乏“我不知道”的机制。这不仅是技术瑕疵，更直接威胁 AI 在金融、医疗、法律等高风险场景的可靠性。AWS 通过展示自家两款模型的表现差异，也暗示了行业在“护栏”技术（如更好的边界识别）上的竞争：谁能让模型更擅长拒绝回答，谁就可能在商业化部署中占据先机。
对用户/开发者/创作者的影响
普通用户： 不要默认模型说的就是事实。对于过时或小众话题（如 2024 年后的天气、个人履历），需主动交叉验证外部数据源。
开发者： 在设计 AI 应用时，应内置“接地”（grounding）机制，比如将模型上下文限定在可验证的最新文档或数据库内，而非单纯依赖预训练参数。同时，注意测试场景不要误涉及第三方隐私（文章警告，如果用他人名字测试，模型可能生成并传播不实信息）。
创作者： 使用 AI 辅助生成内容时，务必检查引用的具体日期、数字和人物信息。模型的“自信错误”在自动化的新闻摘要或报告生成中尤其危险。
值得关注的后续
1. 护栏技术标配化： Claude Haiku 4.5 的表现显示，新模型正普遍加入“承认未知”的能力。这或将成为下一代模型的核心卖点，类似“是否开源”一样影响开发者选型。2. 训练数据时效性成本： 而 Nova Micro 1.0 的失败提示，对于依赖 2023 年后数据的用户，模型再训练或知识库实时更新将增加算力开销。3. 评测标准演变： “幻觉率”指标可能从学术研究走向商业化 SLA，AWS 等云厂商或推出更严格的模型验证服务。
来源：dev.to
