Karpathy 草稿验证技巧迎来突破:Uzu 在 Apple M5 上跑出 117 tokens/s

2026 年 10 月 9 日,开源推理引擎 Uzu 在 Apple M5 上把 Karpathy 的投机采样思路推至一次草拟 16 个 token,同一提示词下速度达到 llama.cpp 和 MLX 的 3 至 5 倍。

2026 年 10 月 9 日,开源推理引擎 Uzu 在 Apple M5 上把 Karpathy 的投机采样思路推至一次草拟 16 个 token,同一提示词下速度达到 llama.cpp 和 MLX 的 3 至 5 倍。

alphaXiv 上一篇新论文提出 SplitJEPA,在联合嵌入预测架构(JEPA)中直接分离潜在状态的不变子空间与变化子空间,无需重建观测,并给出了可识别性理论证明。它让机器人在摄像头偏移或灯光变暗时仍能保持任务相关的稳定表示。

一项尚未经过同行评审的预印本研究发现,当大模型在数据墙上被迫重复训练时,传统指标衡量的损失恶化中,约三分之一可由模型过度自信解释,而非模型能力真正下降。

2026 年 8 月的数据显示,AI Token 价格持续走低,但 H100 GPU 租赁价格却保持坚挺甚至上涨。这被 a16z 称为教科书式的杰文斯悖论,也是英伟达 CEO 黄仁勋最希望看到的局面。

开源项目 AirLLM 通过逐层流式加载权重,让 70B 大模型在单块 4GB GPU 上推理,并已实测支持 2.8T 参数的 Kimi K3 在 3.72GB 显存下运行。它不依赖量化、蒸馏或剪枝。

国内大模型公司月之暗面(Moonshot AI)主体公司注册资本于2026年10月再次增加约24%,由约1157.53万元升至约1437.23万元。这是该公司年内多次增资动作中的最新一次,反映其在资本层面的持续运作。

美国参议员沃伦、范霍伦和布卢门撒尔发布历时近一年的调查报告,指出亚马逊、谷歌、Meta、微软等AI数据中心运营商未支付其全部成本,继续通过保密协议限制社区知情,并寻求数十亿美元税收优惠,最终由普通居民承担账单。

一篇登上 Hacker News 24 小时热榜的博客文章反驳“AI 必然到来”的说法,指出技术是否被广泛采用取决于社会条件,而非技术本身的固有属性。

据《华尔街日报》报道,Anthropic 联合创始人 Tom Brown 借助共和党人脉,化解了 6 月一场围绕模型安全的僵局,并促成与 SpaceX 每月 12.5 亿美元的算力交易。这笔交易让 Anthropic 获得大规模训练与推理算力,也把 AI 模型安全议题进一步拉进政治与商业谈判桌。

艾伦·图灵研究所新任负责人乔治·威廉姆森警告,英国不能依赖可能被外国政府或商业压力随时限制、甚至关停的AI系统,主张建立可在国防、医疗等关键领域自主使用的主权AI能力。