Soft-MTP 修正多Token预测训练:一行改动降低困惑度

Hugging Face Papers 收录的一篇论文指出,标准多Token预测(MTP)训练存在梯度噪声问题,并提出 Soft-MTP——只需改动一行代码,就能在 167M 到 1.2B 参数规模上改善下游表现与投机解码速度。

Hugging Face Papers 收录的一篇论文指出,标准多Token预测(MTP)训练存在梯度噪声问题,并提出 Soft-MTP——只需改动一行代码,就能在 167M 到 1.2B 参数规模上改善下游表现与投机解码速度。

Cisco 总裁 Jeetu Patel 把重写遗留代码的任务交给一位 27 岁工程师,并为其提供不限量的 AI Token,目标是在 24 个月内完成 98% 遗留代码重写。这折射出企业用大模型改造存量系统时,人力结构与成本模型正在变化。

一篇来自 alanbellows.com 的讽刺文章以“AI 公司致创作者”的口吻,逐条回应版权、岗位替代、算力成本与“幻觉”等争议,之所以值得关注,是因为它集中反映了创作者群体对大模型训练与商业化模式的不满。

美国众议院司法委员会和监督委员会两位民主党领袖致信Trump,要求根据《总统记录法》保存其与Grok、ChatGPT、Claude等AI聊天机器人的对话记录,11月11日前须作简报。事件起因是TIME披露Trump曾就委内瑞拉行动向Grok征询意见,这一要求可能成为白宫AI决策被国会审查的起点。

OpenAI、谷歌、微软和 Anthropic 表示将支持一项新标准,让出版商可以在多个爬虫层面统一声明退出,减少逐家通知 AI 公司的成本。这关系到训练数据与内容授权的基本规则。

Anthropic 在 Cursor 市场上架的 Claude VS Code 扩展被攻击者控制官方账号后发布恶意版本 2.1.313,存在近 12 小时,最多影响 5000 名开发者。事件暴露了 AI 编程工具供应链的薄弱环节,而 Anthropic 和 Cursor 至今未向用户公开说明攻击如何发生。

超音速客机公司 Boom Supersonic 一边推进 Overture 客机,一边在科罗拉多开设工厂生产面向 AI 数据中心的燃气轮机;但其早期客户美国联合航空 CEO 公开表示 2029 年交付“不会发生”,公司能否兑现两条业务线的时间表同时受到质疑。

10月28日,纽约州州长凯西·霍楚尔在Common Sense Media峰会上宣布,明年1月起禁止聊天机器人对儿童进行自残、性暗示等有害引导;与会专家警告,AI对儿童的影响可能超过社交媒体,但联邦层面至今没有相应立法。

据报道,位于美国华盛顿州温哥华的 Powerlattice 完成 8600 万美元融资,其供电芯粒(power delivery chiplet)声称可将 AI 计算的功耗需求降低 50% 以上。在 AI 算力成本与电力约束日益突出的背景下,这一方向值得关注。

富士胶片计划到2028财年把磁带产能扩大五倍,投资100亿日元扩建日本小田原工厂,以应对AI带来的海量冷数据存储需求。AI不只推高算力,也正在重塑最“老派”的存储介质。