infer_auto_device_map inefficiently allocates GPU memory for models with imbalanced module sizes

该报错通常出现在调用 infer_auto_device_map 分配模型到多设备时,若 GPU 的 max_memory 小于模型中最大不可拆分模块的尺寸,函数会保守地不分配任何模块到 GPU。优先排查你是否设置了过低的 max_memory ,并关注是否存在体积失衡的大模块(如 Segforme
先解决问题,再了解资讯。选择你现在要完成的任务。

该报错通常出现在调用 infer_auto_device_map 分配模型到多设备时,若 GPU 的 max_memory 小于模型中最大不可拆分模块的尺寸,函数会保守地不分配任何模块到 GPU。优先排查你是否设置了过低的 max_memory ,并关注是否存在体积失衡的大模块(如 Segforme

OpenAI 首席财务官 Sarah Friar 在全员会上明确告诉员工,公司“将在 2027 年或更早上市”,并称 IPO 只是“另一个融资里程碑”,不是终点线。

开发者发布了一个名为 only-cli 的开源命令行工具,能把任意网站转换成适合 AI 代理阅读的紧凑编号视图,替代原始 HTML 抓取,从而显著降低 Claude Code 等 AI 编程助手的 token 消耗。

菲尔兹奖得主陶哲轩在2026年国际数学家大会上发表了一篇题为《人工智能时代的数学》的论文,明确假设“能做研究级数学的AI工具即将到来”,并在此基础上重新审视数学研究的真正目标与价值,而非争论AI目前能否做到。

Stripe 以约 75 亿美元收购 AI 模型路由平台 OpenRouter,远高于其三个月前 13 亿美元的估值。这笔交易表面与“奇点”无关,实质是支付巨头押注 AI 时代资金流管理,试图嵌入所有 AI 应用的开发与支出环节。

Gradio 的 @gr.render() 装饰器目前不支持嵌套使用,这个问题在 Gradio 6.22.0 及更早版本中仍然存在且被官方确认。优先排查方案是使用 State 组件传递数据,将多层嵌套渲染重构成单层响应式渲染。

使用 CrewAI 的 Anthropic 原生 provider 时, total_tokens 只计算 input_tokens + output_tokens ,遗漏了 cache_read_input_tokens 和 cache_creation_input_tokens ,导致任何启用

OpenAI 因关键财务数据恶化——第二季度亏损扩大至 123 亿美元、收入增速明显放缓——导致市场信任迅速流失,原定 IPO 进程面临重大不确定性。这一事件正在改变整个 AI 行业对闭源大模型商业化前景的判断。

NVIDIA 展示了一套用 AI 编码代理(Codex)配合 Holoscan CLI 和 HoloHub 开发技能,端到端构建边缘实时 AI 应用(如内窥镜工具分割)的工作流。这意味着 AI 不再只是写代码片段,而是能按工程规范独立完成应用搭建、测试与迭代。

彭博社报道 SpaceX 曾试图收购 AI 编程初创公司 Cognition,但 Cognition CEO Scott Wu 随即公开否认,称公司不卖。此事发生在 SpaceX 刚以 600 亿美元收购 Cursor 之后,反映出 AI 编程赛道正在成为巨头争夺的焦点。