一句话看懂：alphaXiv 收录的一篇论文提出 HiRes（Hierarchical Residuals）架构，把 Transformer 跨层传递的残差宽度与每层内部的计算宽度拆开，在摘要报告的测试中达到约 1.30 倍的 FLOPs 效率提升，且无需专用算子或底层基础设施改造。
事件核心：发生了什么
论文指出，标准 Transformer 存在一个隐性约束：残差连接在深度方向上携带的状态宽度，和注意力层、前馈层内部实际计算使用的宽度，通常是同一个 d。要拓宽信息通道，就得整体加宽每层计算，代价随深度放大。
HiRes 的做法很克制：把相邻层分组为块，块内仍运行未经改动的 d 维 PreNorm 层，块与块之间则由更宽的 D 维 PostNorm 外层残差连接，边界处用可学习的读写投影在两种宽度间转换。默认配置为 D/d=2、共四个块。摘要报告称，在不同模型规模和深度下它稳定优于普通残差相加；在 OLMoE-1B-7B 上预训练 500B token，训练损失降低 0.0208，下游准确率提升 1.14 个百分点。
为什么重要
论文把“残差宽度”变成了一个独立的扩展变量，而且只靠稠密投影、归一化和残差相加实现，不依赖定制算子。对大模型训练而言，这意味着可能在不改变单层计算量的前提下优化算力利用。
值得留意的是对比口径：1.30 倍来自拟合的解析训练 FLOPs，属于计算量到损失的换算，不等于实际训练速度提升 1.30 倍，也不等于省下了等比例的 token。论文还设置 HiNorm（只加边界归一化、不扩宽）等对照，显示归一化和扩宽带来互补收益；但扩宽同时增加了参数，目前公开信息尚不能把收益完全归因于宽度本身。
对用户/开发者/创作者的影响
对训练大模型的团队，HiRes 提供了一个可低成本试用的架构选项：层内代码基本不动，改动集中在块边界。论文称其激活内存和 I/O 开销低于 VWN、mHC、AttnRes 等其他残差扩展方法，这对显存紧张的训练环境有现实意义。对普通用户和创作者，短期内没有直接影响——这是预训练方法研究，不是已上线产品或 API。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是 1.30 倍效率优势能否在更大规模模型和真实训练时长上复现；二是开源社区是否跟进实现，并验证其“无需专用内核”的说法；三是残差扩宽与混合专家（MoE）稀疏结构的组合效果，是否被后续工作进一步拆解。
来源：alphaXiv
