一句话看懂：最新论文测试在指令微调或继续预训练后，仅调整模型最终预测的词汇偏置和温度能否挽回”遗忘”的网页文本预测能力，结果显示大部分损失无法通过这种无上下文修正恢复，最高仅约36%，且合成随机损伤实验也能达到29%恢复，说明表面修正不等于根因修复。
事件核心：发生了什么
alphaXiv 平台发布的一篇论文（2026年10月12日）提问：语言模型在指令微调或在新领域继续预训练后，预测标准网页文本的能力下降（即”遗忘”），能否通过简单的最终词预测固定调整来挽回？研究覆盖 OLMo-2、Qwen2.5、SmolLM2 等 14 对基座/衍生模型，参数量 1B 到 7B，使用 DCLM 网页文本各 100 万 token 拟合与评估。仅调整词汇偏置（每个 token 固定加分/减分）最多恢复 9.8%，其他 13 对均低于 7%；结合温度调节后，OLMo-2 7B → Instruct 恢复 35.9%，SmolLM2 1.7B 和 Qwen2.5 1.5B 指令对仅恢复 3.6% 和 5.8%；数学继续预训练的 Qwen2.5 Math 损失最大（7B 每 token 0.485 nats，1.5B 0.796），但修正仅恢复 1.3% 和 1.2%。在合成随机损伤实验中，无植入偏置或温度变化，偏置加温度仍恢复 29%。
为什么重要
这项研究直接挑战了”遗忘只是输出词汇偏好偏移”的简化假设。如果微调或继续预训练造成的退化主要不是表层词汇偏置，那么依赖简单后处理校准来修复模型能力的思路就存在根本局限。对于大模型训练、推理优化和 AI 应用部署而言，这意味着需要更深入地理解损伤机制，而不是寄希望于无上下文的轻量修正。同时，论文也提示：即使某些修正看起来恢复显著，也可能只是补偿了过度自信等副作用，未必触及根因。
对用户/开发者/创作者的影响
对开发者来说，若计划通过调整 API 输出层的 token 偏置或温度来改善微调后的通用能力下降，目前公开信息显示效果有限，尤其数学等垂直领域继续预训练后损失难以挽回。对使用开源模型做二次训练的企业，应更关注训练数据配比和目标函数设计，而非依赖输出后处理。对普通用户，模型在特定任务上表现变差时，简单调参可能无法根本解决，需要等待模型提供方推出更系统的更新。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
第一，论文采用的约束拟合方式（仅前 4096 高频 token、早停）是否低估了理想修正的潜力，后续是否有更优拟合方法。第二，不同架构和训练目标下遗忘机制是否一致，需要更多模型对验证。第三，这一发现是否会推动业界重新审视指令微调与继续预训练中的灾难性遗忘缓解策略。
来源：alphaXiv
