PageGram 让 20B 参数 n-gram 记忆表以平表读取代价实现多头寻址

alphaXiv 上的一篇新论文提出 PageGram,把多头 n-gram 哈希表的各行放进同一页,使设备端大参数记忆表的读取次数接近普通平表,同时保留多头抗碰撞优势。

alphaXiv 上的一篇新论文提出 PageGram,把多头 n-gram 哈希表的各行放进同一页,使设备端大参数记忆表的读取次数接近普通平表,同时保留多头抗碰撞优势。

alphaXiv 上公开的一篇论文提出“纠错训练”方法,用一个小型纠错器修正扩散模型自身预测的累积误差,在无引导生成时显著改善 FID,效果接近 CFG,且推理成本可通过蒸馏摊销。

Hugging Face Papers 收录的论文 MixTok 提出一种混合视觉分词方案:用紧凑的一维全局 token 打底,再按内容复杂度稀疏补充二维局部 token。在相同平均 token 预算下,图像重建与生成的评测指标表现有竞争力,指向“按需分配算力”的视觉 tokenization 路线。

Hugging Face Papers 收录的一篇论文提出 Semi-OPD:用初始学生模型自己生成的离线轨迹来蒸馏,在 17 组教师—学生模型对比中 14 组优于当前流行的 on-policy 蒸馏(OPD),最高准确率提升 13.6%,训练提速 11.4 倍。它提醒开发者:on-policy 采样并非总是…

2026年10月12日,X用户@BTCdayu发布七条个人提效建议,其中“让AI参与人生决策”被放在首位,引发社区对AI角色从工具向决策辅助延伸的讨论。

研究人员在多模态大模型内部发现名为 S-Space 的线性表示子空间,它像内部空间工作区一样编码物体的水平、垂直和距离坐标,并可用于诊断空间推理失败的环节。

Scale AI创始人、Meta首席AI官Alexandr Wang在社交平台分享了他对马斯克、扎克伯格与拿破仑共同点的观察,核心观点是:顶级操盘手共享一套反避险心智——用极小扁平团队突破边界、把失败视为有上限而回报无上限、决定前反复推演决定后绝不犹豫。

2026 年 10 月 12 日,Sakana AI 发布多智能体自监督技术 MASS,27B 参数模型在基准测试中性能提升 1.2–1.6 倍;同时谷歌 TPU 实现大部分由 AI 自主设计,性能超越人类工程师。

Alexandr Wang 在近期发言中提出,当前是历史上创办十亿美元公司的最佳窗口期,真正的瓶颈已从模型能力转向世界对 AI 的接受速度,小团队靠“少数人指挥大量智能体”就能挑战大公司。

X 用户 @weiyux2021 发布了一份“未来20年可能发生的事”清单,涵盖 AI 替代岗位、公务员缩编、学历贬值、燃油车份额下降等31条个人观察。这些并非官方预测或已有产品,但其中关于 AI 工具普及和技能更新的判断,值得普通用户和创作者对照参考。