免重训让Transformer变弹性：任意稀疏度按需裁剪

事件核心：发生了什么

2026 年 10 月 14 日，alphaXiv 上的一篇论文提出一种无需重训的弹性化方法：对已训练好的 Transformer，一次性学习 MLP 神经元和注意力头的联合重要性排序，推理时按预算丢弃排名最低的单元，即可得到从稀疏到密集的连续档位。据作者介绍，在覆盖 22M 到 8B 参数的 27 个视觉与文本编码器上，模型在最高 60% 稀疏度下表现平滑下降，优于一次性剪枝基线。论文摘要给出的例子包括：把 DINOv3 ViT-H+/16 剪到 50% 稀疏度，减少 4.27 亿参数，ImageNet-1k 线性探测精度仅下降 0.8%，且无需权重修正或重训练。

为什么重要

现在的大模型家族通常只提供 S、B、L 等几个固定尺寸，用户得在硬件和延迟约束下提前选型，流量高峰或低谷很难灵活适配。弹性模型的意义在于把“选尺寸”变成“推理时选预算”：同一份权重可同时服务多个算力档位，减少多模型存储和切换成本。摘要称在 A100 上，60% 稀疏度的 AugReg ViT-B/16 吞吐最高提升 1.80 倍、单查询延迟降低 1.26 倍，弹性模型生成仅需数分钟，构建时间随参数量次线性增长。对依赖大模型推理的应用而言，这指向一条不重训即可按负载调节成本的路线。

对用户/开发者/创作者的影响

开发者可以把它视为一种推理侧优化方案：向量检索、图像分类、文本嵌入等场景中，索引或主模型可保持密集版本，查询侧按系统负载弹性编码。作者在社交帖中称，在检索任务里索引可用密集模型构建一次，查询侧按负载弹性裁剪；文本嵌入上，E5-L 在 60% 稀疏度下得分为 57.3，而 SnapViT 为 30.2，双向编码器比解码器 Qwen3 0.6B 更耐剪。但需要注意，这些结果来自论文摘要和作者帖文，任务、硬件和评测条件均有明确限定，不应视为已上线产品或永久排名。目前公开信息显示，该方法尚处于研究阶段，是否开源、是否集成到主流推理框架仍待确认。

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。

值得关注的后续

一是看代码和权重是否开源，能否在 vLLM、TensorRT-LLM 等推理栈中落地；二是看更大规模模型和生成式解码器上的实际表现，摘要中解码器耐剪性弱于双向编码器；三是看是否有云厂商或模型提供方跟进，把“按预算裁剪”做成 API 或服务档位。这些能否实现，目前公开信息尚不足以判断。

来源：alphaXiv