一句话看懂：alphaXiv 收录的一篇论文系统研究了 Transformer 循环复用权重的设计权衡，发现全模型循环与中间层循环各有适用场景，而并行循环需要修正才能保住效果。
事件核心：发生了什么
2026 年 10 月 29 日，alphaXiv 刊出一项关于 Transformer 循环机制的研究。作者从零训练了 70M 到 1B 参数的稠密 decoder-only 模型，训练数据最多 155B token、算力最高约 1.07×10²¹ FLOPs，循环次数最高 32 次，对比了全模型循环、中间层循环以及不同循环间信息传递方式。
结论并不单一：在参数预算固定时，循环整个 Transformer 通常质量最好；训练 FLOPs 受限时，循环中间一段层数回报更高。循环也不是越多越好，收益会饱和、反转甚至不稳定。作者还尝试给每个循环加小的低秩适配器，循环越多增益越明显；针对循环带来的解码变慢，他们改进了 Parallel Loop Transformer 的令牌间信息传递方式，恢复了部分性能。
为什么重要
对做模型架构的人来说，这项研究把「加深度」拆成了三个不同瓶颈下的选择题：模型体积、训练成本、自回归推理速度。它说明循环不是万能加速键，设计要匹配资源约束，这会影响大模型训练配方和推理部署方案的选择。
不过目前公开信息仅限于摘要层面的实验范围，结论集中在 1B 参数以下、以似然指标为主的评测，尚未覆盖更大模型、MoE 或后训练模型，也不等于已有产品落地。
对用户/开发者/创作者的影响
开发者若在有限算力下训练自有模型，中间层循环可能提供更划算的早期回报；做推理服务的人则要留意循环层数直接拖慢解码，并行循环的修正方案值得跟进。对普通用户和内容创作者，短期内没有可直接使用的功能变化，更多是底层模型效率演进带来的间接影响。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是该设计能否在更大规模模型和 MoE 架构上复现；二是并行循环的修正是否被开源实现采纳，真正降低推理延迟；三是循环专用适配器与现有微调、蒸馏流程如何结合。
来源：alphaXiv
