Hugging Face新论文提出InfraRSI,用递归自我改进优化大模型训练基础设施

Hugging Face Papers 收录的一篇论文提出 InfraRSI,尝试用智能体式“递归自我改进”自动化分布式大模型训练中的启动参数、算子内核与通信调度优化。摘要称,在四个单机与多机 LLM 负载上最高实现 2.75 倍加速,平均 MFU 从 17.4% 提升到 30.0%。

一句话看懂:Hugging Face Papers 收录的一篇论文提出 InfraRSI,尝试用智能体式“递归自我改进”自动化分布式大模型训练中的启动参数、算子内核与通信调度优化。摘要称,在四个单机与多机 LLM 负载上最高实现 2.75 倍加速,平均 MFU 从 17.4% 提升到 30.0%。

事件核心:发生了什么

根据论文摘要(2026 年 11 月 8 日发布),InfraRSI 将开放式人类指令转化为经过验证的训练优化,核心是一套五阶段工作流:init 阶段锁定可编辑范围与固定任务契约,doctor 阶段剖析基线并校准集群噪声,run 阶段联合优化启动参数和代码补丁,report 与 apply 阶段审计来源路径、记录失败成本并提交晋级改动。其关键设计是:不再沿单一基线贪婪调参,而是从多样化的经验种子配置出发,对所有试验(包括 OOM 失败)拟合全局执行时间与截尾峰值内存模型,并给每个配置的内存成本“定价”。

为什么重要

分布式 LLM 训练的效率瓶颈往往不是单个算法或内核,而是启动参数、算子与通信调度之间的耦合关系——内存越界、编译器冲突、测量抖动和数值漂移让自动调优很难稳定收敛。InfraRSI 试图把“会写代码的智能体”和“懂集群测量的系统工具”结合起来,并在不同 GPU 之间迁移经验。摘要将其描述为两级递归自我改进:运行内在线修正先验,跨集群蒸馏经验。若后续全文实验能够复现,这一思路对大模型算力利用率和训练成本控制有直接参考价值。

对用户/开发者/创作者的影响

目前公开信息仅来自论文摘要,尚不能确认是否开源或提供可用工具。对训练框架和推理基础设施开发者而言,值得关注的是它如何处理 OOM 这类失败样本、如何避免“奖励黑客”式伪优化,以及经验银行能否跨硬件复用。对使用云算力训练 MoE 或稠密模型的团队,MFU 从 17.4% 到 30.0% 的摘要数据意味着潜在的单位算力产出提升,但实际收益仍需在自有负载和集群环境上验证,不能直接当作通用性能承诺。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是论文全文和实验细节是否公开,包括四个负载的具体配置与复现条件;二是代码或工具是否会开源,能否接入 PyTorch、Megatron 等主流训练栈;三是跨 GPU 经验迁移在异构集群上的稳定性,以及失败试验成本统计是否被同类自动调优工具跟进。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 33950

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注