ELR 让循环语言模型摆脱”单圈税”,Koi-4B 一个权重适配不同算力

Hugging Face 论文提出 Elastic Latent Recurrence(ELR)训练方法,让循环语言模型在只跑一圈时不再明显弱于同规模非循环模型,多跑几圈则继续提升精度。基于该方案训练的 Koi-4B 单个 checkpoint 可在推理时切换圈数,匹配 Qwen3.5-4B 的水平并向上扩展…

一句话看懂:Hugging Face 论文提出 Elastic Latent Recurrence(ELR)训练方法,让循环语言模型在只跑一圈时不再明显弱于同规模非循环模型,多跑几圈则继续提升精度。基于该方案训练的 Koi-4B 单个 checkpoint 可在推理时切换圈数,匹配 Qwen3.5-4B 的水平并向上扩展。

事件核心:发生了什么

循环语言模型复用同一组层块,理论上一个权重文件就能通过改变循环次数来换取推理算力与精度。但此前的模型存在”单圈税”:只循环一次时精度通常明显低于同规模非循环模型,导致低延迟场景下不如直接部署非循环模型。论文提出的 ELR 通过三项设计消除这一税负——带学习步长的门控状态更新、在每个优化器更新中混合不同循环次数、以及让每次前向传播根据循环索引与预算进行条件化。前两项保住单圈精度,第三项让每多一圈都降低损失。摘要显示,在 4B 稠密模型和 30B-A3B 混合专家模型上,ELR 单圈分别比匹配基线低 0.52 分和高 1.04 分(十任务平均),四圈分别增加 7.25 和 4.75 分。经过后训练得到的 Koi-4B,在 Artificial Analysis 智能指数上单圈估计 18 分、四圈 29 分。以上数据均来自论文摘要,未核验全文实验。

为什么重要

它直接挑战了”精度要么靠更大模型、要么靠更多推理算力”的二元选择。ELR 让一个 checkpoint 同时覆盖低延迟与高精度两种服务形态,对部署成本敏感的团队意味着可以少维护一套非循环模型。在 MoE 模型上,复用首圈专家路由可节省 11.7% 混合深度更新时间且精度无可见变化;推理时只保留最后一圈的注意力 KV 缓存,能把 KV 内存维持在单圈水平。这些工程细节如果成立,会降低循环模型进入生产环境的门槛,也可能影响开源模型在端侧和云端的分发策略。

对用户/开发者/创作者的影响

对开发者而言,最直接的变化是 API 或本地部署可以按请求动态选择循环次数:简单任务跑一圈省算力,复杂任务跑四圈换精度,而不必在模型版本之间切换。对使用开源权重做微调或产品化的团队,ELR 若被主流训练框架吸收,可能减少对”小而快”和”大而准”两个独立模型的维护成本。对创作者和普通用户,短期内体验变化取决于是否有产品采用 Koi-4B 这类方案,目前公开信息显示仍处于论文阶段,尚无已上线产品可验证。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是 ELR 是否开源训练代码与权重,以及能否被复现到其他规模;二是 Koi-4B 在真实产品中的延迟与成本数据是否与论文估计一致;三是主流推理框架是否支持动态循环次数调度,以及 MoE 路由复用等优化是否被社区验证。这些将决定循环模型是停留在论文,还是成为部署选项。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 29030

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注