一句话看懂：arXiv 上一篇新论文提出“条件无毛定理”，指出自回归 Transformer 在生成文本时，对原始提示词（prompt）的记忆会随生成长度按幂律衰减；这意味着提示词的影响会逐渐消失，后续输出更多依赖已生成的文本本身。
事件核心：发生了什么
2026 年 10 月 20 日发布于 arXiv cs.AI 的一篇论文（编号 2610.24133v1）研究了一个具体问题：自回归 Transformer 在生成 t 个 token 后，还保留多少原始提示词的信息。作者比较两个不同提示词但后续接相同续写文本的情况，发现它们隐藏状态之间的距离大约按 t 的负 α 次方衰减，其中 α 越小表示记忆越长。摘要称，训练过的模型遗忘较快，α 约为 0.55 到 0.7；未训练模型遗忘较慢，α 约为 0.2 到 0.5。论文证明，对于有限深度、Pre-LN 结构、注意力 logits 有界的 softmax Transformer，在预归一化激活值不接近零的条件下，这一差异的上界可表示为 O(P(log t)^{L-1}/t)，其中 P 为提示词长度、L 为模型深度。作者把机制解释为“稀释加接力”：上下文变长稀释了提示词的直接影响，而后续 token 传递早期信息只能增加对数因子。基于当前摘要，尚未核验论文全文实验。
为什么重要
对大模型应用来说，提示词是否持续起作用关系到长对话、复杂任务指令和角色设定能否稳定保持。论文提出的“条件无毛定理”认为，给定已生成文本，提示词对下一个 token 的影响会随 t 增大而消失，任何延续下来的提示词属性（例如语言）需要由已生成文本承载。这为理解长上下文中的“指令遗忘”提供了理论视角，也可能影响 API 设计、提示工程和评测方法。不过目前公开信息仅为摘要，结论适用范围仍需全文验证。
对用户/开发者/创作者的影响
开发者可以关注：在构建长输出或长对话的 AI 应用时，不能默认系统提示词会全程保持同等权重；对关键约束可能需要重复注入或在生成文本中显式保留。创作者使用图像生成或文本生成工具时，如果输出较长，早期提示中的细节可能逐渐减弱。企业采购和评测侧则可将“提示词记忆衰减”作为长上下文能力的观察项。论文还提到，用 logit bias 抵消稀释会改变遗忘曲线，这一发现对推理侧干预有参考价值，但尚无产品化验证。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是论文全文是否给出可复现实验，以及不同模型架构、训练阶段下的 α 值是否稳定；二是“条件不接近零”这一附加条件在实际大模型中是否普遍满足；三是该结论是否会进入长上下文评测标准，或促使开源、闭源模型在训练和推理中调整提示词处理策略。
来源：arXiv cs.AI
