为什么人工智能会忘记你说过的话（以及如何解决这个问题）
一句话看懂：人工智能模型不会“记住”你的每一次对话，它们依赖一个固定大小的“上下文窗口”。当你贴入长文档或与模型进行长时间对话后，模型会逐渐丢失较早部分的信息，甚至给出自信但错误的回答。这不是幻觉，而是模型的注意力被稀释了。
事件核心：发生了什么
在dev.to上，一位AWS工程师以“桌面”为比喻，解释了AI模型为何会“忘记”你说过的话。每个模型都有一个固定的上下文窗口（token数量限制），这个窗口必须同时容纳你的输入、模型输出、对话历史和系统指令。在Anthropic的Claude模型（如Opus）上，有用户反馈，模型在经过长时间对话后主动要求“保存上下文，明天继续”。这其实是一个好的信号，因为更多模型会在不警告用户的情况下，悄悄降低回答的准确性。这种现象被称为“迷失在中间”（lost in the middle），即模型在处理长输入时，往往记住开头和结尾，而中间部分的信息被弱化。例如，一段20页的法律合同，当你问及第7页的条款时，模型可能漏掉、错误引用或从完全不相关的部分提取。而对话场景中，简单的一问一答（约350个token）重复20次后，token数就会超过7,000，足够填满一些早期模型的上下文窗口。
为什么重要
这个机制揭示了AI产品体验的一个核心矛盾。上下文窗口既是内存单位，也是成本单位——用户每次发送消息，实际上是在重新发送并支付整个对话历史的费用。虽然新模型（如支持128k token或更高）的桌面变大了，但“桌面上的所有内容并不能被同等关注”。这意味着，模型的能力上限（窗口大小）和实际可用性（注意力分散）之间存在巨大鸿沟。对于开发者而言，如果只关注模型的最大窗口数，而忽略其在长上下文上的实际表现，就可能在构建文档问答、客服聊天或代码分析工具时，遇到隐蔽但致命的信息丢失问题。这也解释了为什么许多产品（如ChatGPT的记忆功能、Claude的Projects）要在基础模型之上建立外部持久化层——因为模型本身并不具备真正的长期记忆。
对用户/开发者/创作者的影响
对普通用户来说，最直接的教训是：不要依赖AI记住对话早期的一切。如果会话超过10-20轮交互，建议主动总结重要信息，或重新开启一个新会话。对于需要处理长文档的用户（如合同审查、论文阅读），即使模型标称有百万token窗口，也要假设模型会忽略中间部分。关键信息应放在输入的开头或结尾，或者通过分多个提示的方式，将大文档拆解为小段分别询问。对开发者而言，必须正视“迷失在中间”这一现实。在构建需要长上下文的应用时，应主动监控token消耗，并考虑使用外部向量数据库或摘录机制来管理知识，而不是将整个文档或历史直接塞入模型提示词。同时，在评估模型时，应将“长上下文中的检索与推理能力”列为与“准确性”同等重要的维度。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
第一，模型厂商是否会开始提供“上下文使用率”和“注意力分布”的可视化工具，帮助用户和开发者感知模型正在关注哪些部分。第二，长上下文优化的技术路线（如稀疏注意力、滑动窗口注意力、外部检索增强）是否会成为模型发布时的标准配置，而非单纯比拼上下文窗口数量。第三，是否有产品（如协作工具、AI助手）开始将“会话摘要自动生成”作为标配功能，以在用户关闭会话前自动保存关键信息，防止长对话时的遗忘问题。
来源：dev.to
