Dust:不依赖反向传播的 Transformer 预训练

Hacker News 上出现了一个名为 Dust 的项目,主张在 Transformer 预训练阶段绕开反向传播。这意味着大模型训练可能不再必须依赖当前最主流的梯度优化路径,值得关注其可行性与规模化前景。

Hacker News 上出现了一个名为 Dust 的项目,主张在 Transformer 预训练阶段绕开反向传播。这意味着大模型训练可能不再必须依赖当前最主流的梯度优化路径,值得关注其可行性与规模化前景。

研究团队 qlabs 发布 Dust,一种不依赖反向传播的 Transformer 预训练方法,靠扰动激活值而非权重来估计梯度,在多项设置下逼近甚至超过传统方法,同时比主流进化策略高效约 10^3 到 10^4 倍,为大算力时代探索非梯度训练路线提供了新证据。

纽约市议会就人工智能风险举行听证会,两名前顶尖实验室内部人士到场作证,警告人类可能逐步失去对先进 AI 系统的实际控制。这值得关注,因为这类证词通常来自最接近前沿模型训练的人,而非外部批评者。

据报道,OpenAI 正与阿布扎比投资机构 MGX 和 BlackRock 洽谈一笔规模约 300 亿美元的融资,若成行,将成为 AI 领域金额最高的单笔融资之一,也意味着中东主权资本进一步深度绑定头部大模型公司。

戴尔、阿波罗资管与日本能源企业 Jera 计划未来五年投下最高约 1400 亿美元,在日本及亚洲建设 3—4GW 的 AI 算力设施,并配套自建燃气发电,首个项目落地东京周边、预计 2028 年投运。

AI 研究机构 Vals.ai 称,其 AI 智能体团队设计出一种磁性半导体候选材料,并通过计算发现 1999 年就已有的另一种材料可能同样满足条件——目标是同时具备零净磁性、可自旋分选和适合室温工作的能隙。

独立分析机构 SemiAnalysis 测算,在跑 Agent 类负载时,Anthropic 订阅套餐折算出的 API 等价价值约为 OpenAI 的 5 倍,对比对象是 Claude Opus 5.5 与 GPT-6.1 Sol。

TikTok 在其应用内新增 AI 购物助手与一键结账功能,把“边看边买”的链路进一步缩短,也让平台电商从导流走向站内闭环。这值得关注,因为它把大模型能力直接嵌入消费决策环节,而不只是做内容推荐。

独立研究者 Syed Anas Mohiuddin 在 Google、摩根大通、Rapid7 等五家机构的 AI agent 系统中发现了一类可跨 agent 传播恶意指令的漏洞,根源是 MCP 协议默认“内部 agent 彼此可信”,而这类信任假设在被串联使用时几乎无人监管。

Product Hunt 上出现一款名为 Unscary AI 的产品,从命名和定位看,它试图把 AI 能力包装成"不吓人"的形态,降低普通用户面对大模型工具时的心理门槛。目前公开信息显示,其官网页面暂时无法直接抓取,具体功能细节仍待核实。