一句话看懂：Multiverse Computing 等研究团队提出两种系统级优化——离线缓存教师模型 Top-K logits，以及融合分块 KL 散度损失——把大模型知识蒸馏的显存峰值从约 250GB 降到约 128GB，让蒸馏可以在单张 H200 上跑通，大幅降低压缩大模型的门槛。
事件核心：发生了什么
这篇发布在 Hugging Face Blog 上的技术论文，针对大模型蒸馏中最贵的环节——KL 散度损失计算——做了两个改动。传统在线蒸馏需要同时加载教师模型和学生模型，每个 token 都要在完整词表上生成概率分布。以 gpt-oss-120b 为例，词表大小 201,088，序列长度 32K、batch size 为 4 时，仅教师概率张量就约 50GB，单次训练迭代显存峰值约 250GB，超过 H200 的 141GB 显存上限。
论文方案是：第一，把教师模型的输出离线计算一次，缓存每个位置概率最高的前 100 个 token，训练时不再加载教师模型；第二，把 KL 损失改成按块计算，避免在内存中显式构造“词表大小 × 序列长度”的完整概率矩阵。作者对比了三种数学等价的实现方式，新的融合分块损失将显存峰值降至约 128GB，可在单张 H200 上运行。
为什么重要
蒸馏是决定压缩模型最终质量的关键步骤，但过去只有拥有大规模 GPU 集群的机构才能负担。当前开源大模型体积持续膨胀，例如 Kimi-K3 有 2.8 万亿参数，仅加载就需要约 3TB VRAM；Nvidia 的 Nemotron 3 Puzzle 75B 和 Multiverse Computing 的 Hypernova 60B 这类压缩模型已经成为实际部署的重要路线。这项研究直接把蒸馏的硬件门槛从“数百张 GPU + 复杂张量并行”降到“单张旗舰卡”，意味着中小团队也能对超大模型做蒸馏实验，并可以复用同一份缓存快速跑多组消融实验，而非每次重复前向传播。
对用户/开发者/创作者的影响
对模型压缩和微调方向的开发者来说，这是一个可以立刻参考的实现路径：离线缓存 Top-K logits 的成本是一次性的，之后训练学生模型完全不需要教师常驻显存；融合分块 KL 损失则比 PyTorch 或 NVIDIA Megatron-Bridge 的默认实现更省显存。对依赖开源大模型做应用的团队而言，蒸馏成本下降可能带来更多高质量小模型，从而降低推理成本和端侧部署难度。普通用户短期内不会有直接感知，但后续如果更多厂商采用类似方法，小参数模型的可用性会明显提升。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
目前公开信息显示，论文发布方 Multiverse Computing 本身已推出 Hypernova 60B 压缩模型，后续值得观察这套离线蒸馏方案是否被集成进该公司的模型生产流程。另外也可以留意两个方向：一是 PyTorch 或 Megatron-Bridge 等主流框架是否会跟进实现类似的 chunked KL 损失；二是 128GB 的显存峰值是否足以让蒸馏进入常规开发流程，以及在其他词表更大、序列更长的模型上是否仍然成立。
