DeepSeek 开源推理框架 DeepInfer:单集群日服务 155 万亿 Token,但缺三组件

DeepSeek 以 Apache 2.0 协议在 GitHub 开源生产级推理框架 DeepInfer,据称单集群日服务 155 万亿 Token;但该框架仅覆盖离线推理与规模化服务核心能力,完整推理服务所需的另外 3 个组件并未包含。同期,OpenAI、Anthropic 与 DeepMind 在网络安全…

一句话看懂:DeepSeek 以 Apache 2.0 协议在 GitHub 开源生产级推理框架 DeepInfer,据称单集群日服务 155 万亿 Token;但该框架仅覆盖离线推理与规模化服务核心能力,完整推理服务所需的另外 3 个组件并未包含。同期,OpenAI、Anthropic 与 DeepMind 在网络安全协调上罕见联手。

事件核心:发生了什么

据 Towards AI 10 月 27 日报道,DeepSeek 开源了推理框架 DeepInfer,协议为 Apache 2.0。公开说法称其单集群日服务量可达 155 万亿 Token,不过该框架只包含离线推理与规模化服务的核心能力,完整推理服务所需的另外 3 个组件没有一并放出。同日早报还提到,OpenAI、Anthropic 与 DeepMind 经过数周联合协调,共同公布了面向双用途 AI 能力的网络安全模型、保障措施与访问计划。

为什么重要

推理成本是大模型商业化最直接的变量。DeepSeek 把生产级推理框架开放出来,等于把规模化服务的部分工程经验交给社区,可能降低中小团队搭建高吞吐推理服务的门槛。但“缺 3 个组件”意味着开源范围有边界,企业若要直接上线完整服务,仍需自行补齐或依赖官方服务。目前公开信息显示,155 万亿 Token 是单一集群的日服务量级,具体硬件配置、延迟与成本结构尚未披露。

对用户/开发者/创作者的影响

对开发者而言,DeepInfer 更接近可参考、可改造的离线推理与规模化服务底座,适合研究批处理吞吐和集群调度,但不要默认它是开箱即用的完整服务栈。对使用 API 的团队,短期直接影响有限,更多是观察 DeepSeek 后续能否补齐组件、是否带动推理价格变化。对创作者和企业采购方,选型时应区分“开源框架”和“稳定托管服务”,尤其要关注缺失组件是否影响可用性与合规保障。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是 DeepInfer 缺失的 3 个组件是否会后续开源,以及 155 万亿 Token 的测试条件和硬件配置能否公开;二是是否有云厂商或推理服务商基于 DeepInfer 推出托管方案;三是三家实验室的网络安全协调计划能否形成可执行的访问分级与披露机制。

来源:@ReZigong

celebrityanime
celebrityanime
文章: 30639

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注