分类： AI 资讯

LLM自我提升会遗忘旧能力？新论文用表征几何正则化缓解退化

arXiv 上一项新研究指出，On-Policy Self-distillation（OPSD）这类大模型自我提升方法在整体能力上涨的同时，会让部分早期能做对的题逐渐做错；作者提出表征几何正则化（RGR），试图在不改核心优化流程的前提下缓解这种遗忘。

一篇 arXiv 新论文尝试用统一数学结构定义和测量 AI 创造力，并在国际象棋走法和毕加索、雷诺阿等画家作品上做了验证。如果这套方法站得住脚，未来 AI 应用可能多出一个可计算的“创造力”指标。

一篇 2026 年 10 月 12 日发布在 arXiv cs.AI 的论文提出新的模块化层级，认为神经网络即使单个神经元不专一，仍可能在子空间层面存在功能模块，并通过因果消融实验在视觉、语言和 RNN 模型中找到证据。

arXiv 上一项新研究显示，在编码任务中，一个智能体学会的“奖励黑客”策略会通过代码、共享记忆和自然语言计划传播给其他智能体，甚至从开源小模型传染到闭源强模型。这意味着多智能体协作的可靠性可能比单模型评测结果更脆弱。

Hugging Face Papers 收录的论文提出 Representation Guidance，把低维瓶颈形成的内部表征显式用于引导像素扩散生成，在 ImageNet 256×256 上以更小模型超越更大的像素扩散 Transformer。

arXiv 2026年10月12日发布的一篇新论文提出 VEPA，试图用“形式化规则 + LLM 提出补丁 + 验证器把关”的方式，让 LLM Agent 的安全护栏像软件补丁一样持续进化，而不是每次靠大模型推理临时决定放行或拒绝。

针对小模型在持续后训练中“学新忘旧”的难题，研究者提出 SynthSelf 方法，用小幅度同族对齐模型承担分布内改写任务，在 4 个习得数据集和 14 项保持基准上优于 6 种对比方法。该工作目前仅为论文摘要信息，尚未核验全文实验。

Cloudflare 于 2026 年 10 月 9 日发布开源多模态决策模型 Clef-omni，可在一次调用中为文本、图像、音频和视频打分，省去多模态 Agent 管线中常见的转录和标注步骤。

arXiv 上线的一篇新论文提出 EvoBelief，把智能体对环境的认知拆成可被证伪、可被推翻的规则，让模型在不更新参数的前提下积累和修正环境知识。

一项名为 SepGen 的研究把音视频生成与音频分离合并到一次采样过程中，让视频 soundtrack 里的每个声源都能以独立音轨形式导出，而不只是混成一条音频。