一句话看懂：多伦多大学等机构的研究者提出 Deletion Tuning，在 LLM 后训练中只把 Transformer 门控投影里不到 0.05% 的权重清零，就在三种训练范式下取得了与全量微调相当的效果，同时大幅减少灾难性遗忘。
事件核心：发生了什么
arXiv 于 2026 年 11 月 7 日提交的论文《The Surprising Effectiveness of Deleting Weights in LLM Post-Training》（编号 2611.10866，入选 NeurIPS 2026）由 Jack Lu、Zhenbang Yang、Mike Lasby、Tejas Pote、Yani Ioannou、Mengye Ren 合著。方法并不给模型加参数，而是学习一个二值掩码，决定 Transformer 块门控投影中哪些权重置零。据摘要，在可验证奖励的强化学习、监督微调、同策略蒸馏三种后训练范式下，该做法都达到了全量微调的规模效果。
两项直接收益：训练出的掩码体积比全量微调检查点小几百到几千倍；遗忘显著更少。在强化学习设置下，其旧任务准确率接近基座模型，而全量微调、LoRA 和随机稀疏微调最多掉 5.4 分。作者用稳定秩、谱漂移和主权重重叠分析权重几何，发现 Deletion Tuning 在三项指标上都最接近全量微调。
为什么重要
目前公开信息显示，这项工作挑战了一个常见假设：后训练必须大规模改动权重。如果结论在更多模型和任务上成立，稀疏化的“删除式”更新可能成为 LoRA 之外的又一条低成本路线，对算力受限的团队尤其有吸引力。同时，二值掩码存储开销小，也让持续学习场景中的模型版本管理更轻。
不过需要强调，这些结果来自论文摘要所述的实验条件，不等于已被广泛复现，也不代表已有产品上线。论文提到作者所在机构与评审背景，但本文不掌握完整实验细节。
对用户/开发者/创作者的影响
对开发者而言，若掩码确实比检查点小几个数量级，边缘部署和多任务切换的存储、传输成本会下降；对做 RLHF 或蒸馏流程的团队，它提供了一种抑制遗忘的备选方案。对普通用户和创作者，这类研究不会立刻改变产品体验，但可能让模型持续升级时更少“学新忘旧”，间接减少更新后的能力回退。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是有无开源代码，让社区在 Llama、Qwen 等主流大模型上复现并验证掩码比例；二是能否扩展到大参数量模型和多轮持续训练，而不只是单次后训练；三是与 LoRA 等参数高效方案的组合效果及推理端是否带来额外开销。
