DeepSeek-V4 Flash 强化学习训练登陆 AMD Instinct MI355X GPU，由 Miles 框架支持

一句话看懂：LMSYS（Chatbot Arena 团队）联合 AMD 宣布，DeepSeek-V4 Flash 的强化学习训练已成功在 AMD Instinct MI355X GPU 上运行，基于 Miles 框架实现。这解决了量化模型在线权重更新时，训练与推理引擎之间概率不一致的行业难题。

事件核心：发生了什么

2026年7月10日，LMSYS 发布博文称，其团队通过 Miles 框架在 AMD Instinct MI355X GPU 上完成了对 DeepSeek-V4 Flash 的强化学习训练验证。DeepSeek-V4 Flash 是一个 2840 亿参数的 MoE 模型，每个 Token 激活 130 亿参数，采用混合压缩注意力、mHC 残差混合和 MoE 路由等复杂架构。在验证中，团队在四节点集群上运行了超过 100 个优化步骤，训练与推理引擎之间的 token 概率差异保持可控，在线奖励和离线 AIME-2024 评测分数均呈现上升趋势。

为实现这一目标，团队解决了三个核心挑战：一是对齐 SGLang 和 Megatron 两种引擎在哈希路由 MoE 和 mHC 残差混合上的模型行为；二是确保在线权重更新时，FP4、E8M0 和 FP8 数据格式的量化状态不变，避免因字节复制导致的生成错误；三是为 ROCm 编译栈添加缺失的 SGLang 接口，使 Miles 框架下量化处理流程得以完整运行。

为什么重要

这一进展意味着 AMD 的 ROCm 软件栈在支持大规模强化学习训练方面迈出了关键一步。此前，DeepSeek-V4 Flash 这类复杂 MoE 模型的强化学习训练主要依赖 NVIDIA CUDA 生态。现在，AMD Instinct MI355X GPU 借助 Miles 框架，首次验证了端到端运行的可行性，降低了对单一 GPU 生态的依赖。这也表明，在混合精度训练和在线策略更新等核心强化学习场景中，AMD 硬件已具备与主流方案竞争的技术基础。

对用户/开发者/创作者的影响

对于 AI 开发者和运维团队而言，这意味着未来在多 GPU 平台上部署强化学习训练时，有了更多硬件选择。特别是那些已采购或计划采购 AMD Instinct 系列 GPU 的企业，现在拥有了一条经过验证的技术路径，可用于运行 DeepSeek-V4 系列模型，而无需额外转换框架。不过，团队明确表示当前阶段主要用于功能验证，下一步才是性能优化和大规模集群适配，因此实际生产效率提升仍需等待后续迭代。