标签： 大模型

最新论文测试在指令微调或继续预训练后，仅调整模型最终预测的词汇偏置和温度能否挽回"遗忘"的网页文本预测能力，结果显示大部分损失无法通过这种无上下文修正恢复，最高仅约36%，且合成随机损伤实验也能达到29%恢复，说明表面修正不等于根因修复。

alphaXiv 发布综述论文，将大模型系统的异常检测划分为“边界建模”和“对齐检测”两种思路，后者主张对照当前请求的 SLO、用户意图和安全要求来判断异常，而非只比对历史运行模式。

一项预注册实验发现，把与真事实高度相似的假事实移入或移出语言模型的局部注意力窗口，模型误信概率并未在窗口边界发生跳变；省显存的滑窗混合架构整体上更易被迷惑，但原因不是窗口边界本身。

一篇来自 Hugging Face Papers 的论文提出用信息熵和 CKA 相似度自动挑选 LLM 的隐藏层组合，用于投机解码，在 EAGLE3 风格实验中优于 [2, N//2, N-3] 等固定默认规则。

一篇新论文证明，用归一化重要性权重估计KL散度时，估计期望最多只比真实KL散度多出log 2，且不要求重要性权重有界或高阶矩有限。对依赖重要性采样做测试时对齐和相对熵编码的团队，这意味着可以拿到有限样本的分布偏移证书。