一句话看懂：斯坦福研究者检验50条被广泛引用的LLM结论，发现44%已经失效；对普通用户和开发者而言，过去看到的“大模型不会做X”很可能只是对旧模型的描述。
事件核心：发生了什么
斯坦福研究者Owen Queen与James Zou测试了50条被广泛引用的LLM结论，覆盖8家开发者在2024年7月至2026年9月间发布的20个模型。结果显示，44%的结论已经“过期”，另有34%明显减弱，仍成立的仅16%，6%反而变得更强。在有估算失效时间的22条结论中，平均寿命仅15.7个月；发布一年后约16%失效，两年后升至39%。
研究还发现，“模型做不到什么”的结论过期最快：9条推理相关结论中有5条已失效，没有一条保持或增强。典型例子包括数“strawberry”里的字母、陌生进制算术、长上下文中间信息丢失，以及用户反驳后放弃正确答案。相对而言，关于偏好与倾向的结论更持久，例如模型偏好自己的答案、对用户顺从，以及左倾政治偏见等。
案例研究关注科学引用编造：2023年研究中GPT-3.5编造了55%的参考文献；同一提示下，GPT-6.1 Sol为0%，Claude Sonnet 5.5为1%，但2026年的Qwen3.7-Flash仍达69%。研究者因此建议，论文应把LLM结论写成特定模型、特定时间点的观察，并公开提示词与分析代码。
为什么重要
大模型迭代速度已明显快于解释它的实证研究。如果论文把某一代模型的表现写成普遍规律，后来者可能基于过时结论做判断。目前公开信息显示，该研究强调结果受模型版本和评测条件限制，不能理解为某家模型永久领先或落后。
对用户/开发者/创作者的影响
开发者选型时，应核对结论对应的模型版本与日期，不要直接沿用旧评测；调用API或搭建AI应用时，提示词和评测脚本最好留存并可复测。普通用户和创作者也应意识到，网上流传的“大模型不会做某事”可能只适用于上一代模型，实际使用仍要以当前版本在具体任务上的表现为准。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是后续是否有更多团队按“模型+版本+日期”复测旧结论；二是厂商是否在模型卡中补充可复现的评测信息；三是引用编造、长上下文推理等弱点在新模型上是否继续收敛。
