一句话看懂：Baseten 开源了面向 DeepSeek-V4.1-Flash 的推理引擎 DeepSeek Ultrafast，在 4 卡/G8 卡 B300 上把解码速度推到约 1700–2170 tokens/s，并通过 RDMA 实现多机 KV 缓存共享。
事件核心：发生了什么
根据 GitHub 项目页信息，DeepSeek Ultrafast 是一个针对 DeepSeek-V4.1-Flash 的超高速推理引擎，支持 sm_100a / sm_103a 架构、100 万 token 长上下文和多服务器 KV 缓存共享。官方给出的测试数据是：在 4 张 GB300（TP4）上，解码速度约 1740 tokens/s，单步耗时 3.30 ms；在 8 张 B300（TP8）上，解码约 2060 tokens/s，单步 2.71 ms。以“直接输出俄罗斯方块 HTML”为测试任务，平均每步接受长度分别为 5.6 和 5.7 token。预填充方面，100 万 token 在 4 卡上耗时 13.2 秒（约 7.6 万 tokens/s），8 卡为 11.7 秒（约 8.5 万 tokens/s）。项目同时开放复现脚本，DeepSeek-V4.1-Flash-Fast 已可在 Baseten Model APIs 调用。
为什么重要
长上下文推理的瓶颈正在从“能否装下”转向“能否算得快、传得省”。这套方案把 DeepSeek 的 KV 缓存压缩与 RDMA 主机内存直传结合，让对话的上下文缓存可以在多台服务器之间迁移，不再依赖前缀感知路由，负载均衡空间因此变大。对推理服务和算力采购而言，这意味着单机卡数、机器间协同和单位 token 成本都出现了新的优化点；同时，Baseten 以开源方式发布引擎，也会给同类推理框架带来直接参照。
对用户/开发者/创作者的影响
对开发者，OpenAI 兼容接口降低了接入门槛，复现演示只需本地起服务和一条 Python 流式请求，适合评估长代码生成、大型文档处理等场景。对使用 API 的产品团队，更高解码速度可能转化为更低的等待时间和更强并发能力，但需注意这些数字限定在上述硬件、测试任务和 2026 年 11 月的项目披露口径内，不能直接外推为普遍排名。自建部署门槛不低：需要 4 或 8 张 B300/GB300/B200、CUDA 13，并配置 Redis 做多机缓存协调。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是 Baseten 承诺的更多性能改进与开源发布能否落地；二是多机 KV 共享在真实混合负载下的稳定性和跨机带宽代价；三是更多推理框架是否会跟进类似 RDMA 缓存迁移方案，以及 API 定价是否随之调整。
