LLM 投机解码新方法:用信息熵与 CKA 自动挑选隐藏层

一篇来自 Hugging Face Papers 的论文提出用信息熵和 CKA 相似度自动挑选 LLM 的隐藏层组合,用于投机解码,在 EAGLE3 风格实验中优于 [2, N//2, N-3] 等固定默认规则。

一篇来自 Hugging Face Papers 的论文提出用信息熵和 CKA 相似度自动挑选 LLM 的隐藏层组合,用于投机解码,在 EAGLE3 风格实验中优于 [2, N//2, N-3] 等固定默认规则。

一篇新论文证明,用归一化重要性权重估计KL散度时,估计期望最多只比真实KL散度多出log 2,且不要求重要性权重有界或高阶矩有限。对依赖重要性采样做测试时对齐和相对熵编码的团队,这意味着可以拿到有限样本的分布偏移证书。

Hugging Face Papers 收录的论文提出“无状态语言代理”(SLA):不让代理带着越滚越长的对话历史反复调模型,而由执行框架统一保存研究状态,每次只给代理重建针对性上下文。论文摘要称,在软件工程、内核优化和算法设计任务上,SLA 最终结果均最好,并以少 84% 以上 Token 达到最强内核基线…

AlphaXiv 上 2026 年 10 月发布的一篇论文提出 Dream to Remember(D2R),让冻结的通用机器人策略通过一个小型“操控模块”学习新任务,同时用冻结的世界模型“脑补”旧任务来防止遗忘。在 CALVIN 和 LIBERO 的连续任务评测中,它比直接微调策略的遗忘问题明显更轻。

港科大团队推出首个面向“数据视频”的多模态理解基准 DataVista,含 961 条真实视频与 6775 道题;测试 19 个主流多模态大模型,最好成绩仅 70.0%,远低于人类专家。

开发者 SaarthurR 在 Hacker News 发布了一款名为 Atticus 的 macOS 按住说话语音助手,它通过 Claude Code 调用用户已有的 Claude Pro/Max 订阅,无需单独申请 API Key;其核心思路是用“学习型快捷指令”把重复操作从大模型推理中剥离出来,让高频动…

掘金作者“码事漫谈”发布了一套针对 AI 生成文本的去味方法,把“AI 味”归结为一句话:句子里面没有做事的人;文末附带可直接复制的完整提示词。

Hacker News 过去 24 小时的 AI 讨论,从工具上新转向两件事:AI 使用是否削弱人的思考耐力,以及长时间运行的 Agent 到底靠什么才不“作弊”。其中消耗约 5000 亿 Token 逆向反汇编 FPS 游戏的工程复盘,给出了一组可核查的数据。

一个名为 Anatomy 的开源技能于 10 月 10 日发布,可将抽象概念转化为可交互的等距视角机械图,配合 Claude Code 使用,目前 GitHub 已获 3700 多 star。

Andrej Karpathy 近日重提一条旧推文并指出,公众对大型语言模型能力的分层认知正在变成一个“漏斗”:约75%的人几乎未使用过 LLM,仅极少数人接触到前沿系统的内部能力。值得关注的是,这种认知差距会同时影响企业采购、开发者选型和内容创作判断。