通过主机卸载减少基于 JAX 的 LLM 训练中的高带宽内存瓶颈

NVIDIA 宣布,在 JAX 框架中利用主机内存卸载(Host Offloading)技术,可以将大语言模型训练中的部分中间激活数据暂存至 CPU 内存,从而缓解 GPU 高带宽内存(HBM)瓶颈。在 GB200 NVL72 系统上的测试显示,该方法可使 DeepSeek-V3 671B 模型的训练吞吐量相…

NVIDIA 宣布,在 JAX 框架中利用主机内存卸载(Host Offloading)技术,可以将大语言模型训练中的部分中间激活数据暂存至 CPU 内存,从而缓解 GPU 高带宽内存(HBM)瓶颈。在 GB200 NVL72 系统上的测试显示,该方法可使 DeepSeek-V3 671B 模型的训练吞吐量相…

宇树科技创始人王兴兴在2026年7月11日王府井论坛上明确表态,机器人最终会走向普通消费者,进入家庭和生活场景。这并非产品发布时间表,而是对机器人消费品化趋势的行业判断,直接关联人形机器人的市场定位与商业化路径。

APEC 2026年数字和人工智能部长会议及数字周活动将于7月16日至29日在成都举行,这是中国时隔24年再次主办该级别会议,会议将聚焦AI赋能、数字包容等议题,已吸引Meta、谷歌、微软、腾讯、百度等30余家国内外企业参展。

有用户实际测试了 AMD 锐龙 AI 处理器在本地运行大模型的能力,在运行 Qwen3.6 MoE A3B 模型时可达 60-70 tokens/秒,但指出当前本地模型在编程等复杂任务上仍有局限,本地大模型的实用性取决于内存成本和模型量化进展。

美国唱片业协会(RIAA)联合多家行业组织,计划在 Spotify、Apple Music 等主流流媒体平台上,为歌曲添加“AI 生成”或“AI 辅助”标识,让听众直观区分纯粹由 AI 创作的音乐和人类主导仅借助 AI 辅助的作品。

Meta 正通过出租 AI 算力服务探索新的收入来源,这引发了市场对科技巨头 AI 资本支出是否已接近峰值的讨论。

分子之心创始人许锦波于2026年7月2日正式开放AI原生生物经济操作系统MoleculeOS(MOS),该系统将AI从单点工具升级为研发流程的组织者,旨在替代传统“工具栈+人工调度”模式,加速分子发现与设计。

美国太阳能与家庭储能公司 Sunrun 启动了一项试点项目,付费邀请用户在家中安装小型计算节点,利用家庭储能系统供电,组建一个“分布式 AI 算力网络”,向 AI 公司出售算力。这尝试绕过集中式数据中心的土地、能耗与社区阻力问题。

GitHub 于 2026 年 7 月 9 日正式上线了全新的拉取请求仪表板,将原本分散在多个页面的 PR 审查、管理和合并流程整合到一个统一入口,旨在帮助个人贡献者和团队管理者更高效地处理协作任务。

一位技术用户爆料,AI 开始输出偏离预期内容时,系统会向对话中注入特定标记,而模型不仅能在当前回合“看到”这个标记,还在后续轮次中记住了它——这被官方认为是 Bug。这一现象暴露了大模型在运行时可能存在的安全控制机制与记忆机制之间的潜在冲突。