语言模型指令微调后的遗忘:词汇偏置修正仅恢复不到10%

最新论文测试在指令微调或继续预训练后,仅调整模型最终预测的词汇偏置和温度能否挽回"遗忘"的网页文本预测能力,结果显示大部分损失无法通过这种无上下文修正恢复,最高仅约36%,且合成随机损伤实验也能达到29%恢复,说明表面修正不等于根因修复。

最新论文测试在指令微调或继续预训练后,仅调整模型最终预测的词汇偏置和温度能否挽回"遗忘"的网页文本预测能力,结果显示大部分损失无法通过这种无上下文修正恢复,最高仅约36%,且合成随机损伤实验也能达到29%恢复,说明表面修正不等于根因修复。

alphaXiv 发布综述论文,将大模型系统的异常检测划分为“边界建模”和“对齐检测”两种思路,后者主张对照当前请求的 SLO、用户意图和安全要求来判断异常,而非只比对历史运行模式。

一项预注册实验发现,把与真事实高度相似的假事实移入或移出语言模型的局部注意力窗口,模型误信概率并未在窗口边界发生跳变;省显存的滑窗混合架构整体上更易被迷惑,但原因不是窗口边界本身。

论文提出把用户在内容平台上的真实行为当成监督信号,用10万用户匿名行为数据构建训练任务。在论文测试条件下,微调Qwen3.6-35B-A3B后,用户相关任务评测提升最高达11.5分。

Hugging Face Papers 收录的一篇论文提出 AgentSWE 基准,专门检验编程智能体能否按需求造出真正可用的 Agent,结果显示目前没有模型接近达标。

Hugging Face Papers 收录的论文提出 GroundAnything,一个 4B 参数视觉定位基础模型,用块级并行扩散解码替代传统自回归逐 token 输出,在延迟敏感场景下尝试兼顾定位精度与推理速度。

Hugging Face 论文页面 9 月 30 日收录的 GroundingPI,用 4B 参数把点与框统一成量化坐标输出,在 34 个定位基准上平均拿到 73.68%,高于论文对比中更大的 GPT-6 Astra。它试图证明:专门做“看清楚目标在哪”的感知预训练,可能比通用视觉语言骨干更适合机器人和自动驾…

Hugging Face Papers 收录的论文提出 SpatialASM 框架,通过训练时空间模拟,把主动空间想象能力内化到大视觉语言模型中,以改善多视角空间推理。

Hugging Face Papers 收录的论文提出 TerminalHorizon,一个面向长周期终端智能体的自动化数据合成引擎,并用 1.5K 任务环境微调 Qwen3.5-27B 得到 TerminalHorizon-27B,在 12 项基准上报告性能提升。

Hugging Face Papers 上出现一篇论文,提出多流注意力残差(MSAR),把注意力残差从单流扩展为多头深度注意力,在 18B 和 28B MoE 规模下报告了优于标准残差和已有残差变体的结果。