[Model Support] Kimi K3 Tracking Issue

快速结论：这是一个 Kimi K3 模型支持的 GitHub Tracking Issue，并非单点故障报告。用户通常在 vLLM 加载 Kimi K3 权重、运行并发推理或启用特定并行/投机解码配置时遇到崩溃或加载差异。优先排查方向是确认自己使用的 vLLM 分支/PR 是否已合入对应子任务（如 DCP、FlashKDA ABI），并核对权重加载布局是否与官方 Hugging Face 仓库一致。

适用环境：Issue 中已确认的环境信息包括：NVIDIA DGX B300（TP=8）出现 memory access violation；同时有 AMD/ROCm 相关任务线（但用户指出该崩溃被误标在 AMD/ROCm 下，实际为 NVIDIA 硬件）。Issue 未提供统一的 Python、CUDA、PyTorch 或驱动版本号，因此这些需用户自行确认。

最快修复方案：暂无确认的一步修复方案。Issue 中未给出可复现的一步修复命令或配置。可优先尝试的已验证方向包括：若涉及 DCP，改用 #50484 的实现（其已取代 #50055）；若涉及 FlashKDA，确认已包含 #50818 的 PyTorch stable ABI 迁移。

注意事项：本 Issue 是跨多个工作流（KV Cache Manager、Kernels、Parallelism、大规模型服务、Spec decode、RL、AMD Enhancement）的跟踪清单，各子任务由不同 owner 负责，解决方案分散在各自 PR 中，不能指望本 Issue 提供统一修复。评论中提到的第三方页面（openk3.org）不是 vLLM 官方文档，仅可作为独立参考，不要当作权威结论。

问题场景

该问题出现在使用 vLLM 支持 Kimi K3 模型的过程中，涉及面较广。评论中用户报告的典型场景包括：在 NVIDIA DGX B300（TP=8）上并发负载下发生崩溃与内存访问违规；在不同实现（vLLM 与 SGLang）之间对比 K3 权重加载行为时出现差异；以及环境变量相关的问题。整体来看，这是模型支持跟踪类问题，而非单一节点或单一脚本报错。

报错原文

[Model Support] Kimi K3 Tracking Issue

原因分析

可能原因需要按子任务分别看待：一是崩溃类问题（memory access violation）出现在高并发、TP=8 的大规模部署场景，可能与并行策略或 KV cache/内存管理相关；二是权重加载差异可能与检查点布局（config、tokenizer、96 个 safetensors shard、eval metadata 等）的一致理解有关，评论建议以官方 Hugging Face 仓库结构作为比较基准；三是环境变量相关问题，评论提到 #50162 用于简化环境变量。由于这是跟踪 Issue，具体根因需在各子任务的 PR 中定位，本 Issue 未给出统一结论。

环境排查

确认使用的 vLLM 版本/分支是否包含对应子任务的最新 PR：DCP 使用 #50484（取代 #50055），FlashKDA 迁移使用 #50818。
确认硬件平台与标注是否一致，特别是 AMD/ROCm 与 NVIDIA 的区分（评论指出崩溃被误标在 AMD/ROCm 下，实际为 NVIDIA DGX B300）。
确认 Kimi K3 权重检查点布局是否与官方 Hugging Face 仓库一致，包括 config、tokenizer、safetensors 分片数量与 eval metadata。
确认是否启用了环境变量相关配置，并参考 #50162 的简化方向。
确认是否存在并发负载场景，因为 memory access violation 报告发生在 TP=8 并发下。
Issue 未提供统一 Python、CUDA、PyTorch、显卡驱动版本，需按自身环境另行核对。

解决步骤

先判断自己的问题属于哪个子任务（KV Cache Manager、Kernels、Parallelism、大规模服务、Spec decode、RL、AMD Enhancement），再定位对应 owner 与 PR。
若涉及 DCP，切换到 #50484 的实现，不要再参考已被取代的 #50055。
若涉及 FlashKDA，确认已合入 #50818 的 PyTorch stable ABI 迁移。
若遇到环境变量问题，关注 #50162 的简化处理。
若涉及权重加载差异，以官方 Hugging Face 仓库结构为基准逐项对比 config、tokenizer、分片与 revision。
若遇到 memory access violation，补充崩溃日志与最小复现信息，并在对应新 Issue（如 #50147）中跟进，而不是期望本跟踪 Issue 直接给出修复。

验证方法

验证方式取决于具体子任务：若为 DCP，确认使用 #50484 后相关功能恢复正常；若为 FlashKDA，确认扩展在合成 dummy tensor 下数学与 API 正确；若为权重加载差异，确认加载器行为与官方 Hugging Face 检查点布局一致。对于崩溃类问题，需在并发复现条件下确认不再出现 memory access violation，并保留前后日志对比。若问题仍存在，应回到对应子任务 Issue/PR 继续跟进。