CUDA out of memory

该报错发生在 vLLM 使用 FlashMLA 稀疏 FP8 混合批次解码路径时,稀疏解码内核会分配一个随 --max-num-batched-tokens 线性增长的工作区,且该工作区不受启动时内存预检约束,批次增大后触发运行时 CUDA OOM。优先排查方向是调低 --max-num-batch

该报错发生在 vLLM 使用 FlashMLA 稀疏 FP8 混合批次解码路径时,稀疏解码内核会分配一个随 --max-num-batched-tokens 线性增长的工作区,且该工作区不受启动时内存预检约束,批次增大后触发运行时 CUDA OOM。优先排查方向是调低 --max-num-batch

开发者 Peter Steinberger 在 X 上公开称赞 OpenAI Codex 的可视化功能“真的变得很棒了”,引发大量开发者共鸣,显示出 AI 编程助手正从“能写代码”向“能看懂过程”进化。

Google Research 推出了一款名为 GlucoFM 的轻量级基础模型,仅 0.72M 参数,专为连续血糖监测(CGM)数据分析设计,试图用极低算力成本解决医疗时序预测中的核心问题。

据多家外媒报道,英伟达接近以约129亿美元收购开源AI模型平台Hugging Face,交易若完成,将大幅强化英伟达在开源AI生态和算力分发上的控制力。

英伟达拟以129亿美元收购AI模型托管平台Hugging Face。这笔交易若能完成,将把全球最大的开源模型社区纳入英伟达的算力版图,直接影响开发者的模型分发与部署方式。

智谱今日发布并开源了GLM-5.3-Flash(320B-A18B),这是一款能力对标Claude Opus 4.8的前沿原生多模态模型,但定价仅为后者的1/40,且推理服务已跑通国产芯片集群。

亚马逊将向旗下 AWS 数据中心追加部署 200 万颗英伟达 GPU,加上此前已确认的超过 100 万颗订单,双方合作关系进一步加深。这笔数十亿美元级的交易,既反映了 AI 算力需求的持续爆发,也发生在亚马逊自研芯片加速追赶的背景下。

英伟达向市场给出 2028 财年营收同比增长约 70% 的指引,但黄仁勋强调实际 AI 算力需求“远高于 70%”,增长瓶颈主要在供应端。这一表态直接回应了近期关于“AI 需求见顶”的担忧。

智谱AI首席科学家唐杰在X平台宣布,GLM-5.3 Flash AA版本在OpenRouter榜单上登顶。这是国产大模型在第三方公开基准上的一次领先,且指向推理效率与综合能力的双重竞争。

截至 2026 年 6 月,我国日均词元调用量突破 500 万亿,中国大模型被官方和业内视为稳居全球第一梯队。这一数字背后是模型迭代周期缩短至 4-6 周、推理算力需求爆发,以及智算中心建设进入批量交付阶段。