一句话看懂：Hugging Face Papers 于 2026 年 10 月 20 日收录的一项研究，用近 600 次训练实验比较循环 Transformer 的截断反传与完整反传，结论是：在同等算力下，完整 BPTT 配合更少的循环轮次表现更好。
事件核心：发生了什么
循环 Transformer 通过复用同一组层来增加计算深度，而不增加可训练参数量，其训练依赖随时间反向传播（BPTT）。为节省训练算力，通常只对最后几轮循环做截断反传，但这会引入有偏梯度。该论文系统改变模型规模、训练 token 数以及前向与反向循环次数，共进行近 600 次训练，并拟合出一个统一缩放律，用“有效参数”刻画循环与截断的影响。按摘要说法，当前后向循环数联合优化时，拟合结果偏向完整 BPTT；在匹配算力条件下，用更少循环做完整反传反而稳定优于截断设置。
为什么重要
这触及循环架构落地的一个实际取舍：截断看似省算力，却可能削弱循环带来的收益。论文提出的缩放律还显示，固定模型规模时，算力最优的循环次数与训练 token 预算都随算力增长；若模型规模也可调，两个完整训练的循环是较优的循环设置。实验中，该设置比算力最优的非循环模型验证损失更低，同时非嵌入参数少约 27%，训练算力仅多 8%。对关注大模型训练效率与架构创新的团队，这提供了一个可参考的权衡框架，但目前公开信息限于摘要，尚未核验全文实验细节。
对用户/开发者/创作者的影响
对多数应用开发者而言，这属于上游训练方法研究，短期不改变 API 或产品使用方式；但它会间接影响未来的模型成本结构——若循环架构能以更少参数达到相近效果，推理与部署的硬件门槛可能下降。对自研模型的团队，结论提示不要默认把截断当作省算力的捷径，应把前后向循环数作为联合调参对象。对内容创作者，影响主要是底层模型迭代节奏，而非直接可用的功能变化。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是论文完整实验是否在更大规模、更多任务上复现该缩放律；二是开源社区是否基于该结论调整循环 Transformer 的训练配置；三是主流大模型厂商是否在架构层面跟进循环与完整反传的组合。另需留意，上述结论均来自论文摘要所述条件，不能视为已上线的产品或永久排名。
