CurvDelta 提出低曲率增量更新,兼顾大模型学习新能力与保留旧能力

Hugging Face Papers 收录的论文 CurvDelta 提出一种把“能力保留”约束直接写进参数更新方式的框架,目标是让大模型在学习新任务或选择性遗忘时,尽量不损伤原有的推理、编程等通用能力。

一句话看懂:Hugging Face Papers 收录的论文 CurvDelta 提出一种把“能力保留”约束直接写进参数更新方式的框架,目标是让大模型在学习新任务或选择性遗忘时,尽量不损伤原有的推理、编程等通用能力。

事件核心:发生了什么

据论文摘要,发布时间为 2026 年 11 月 18 日。研究团队提出 CurvDelta 框架:先分析“保留约束”在适配前模型附近的局部几何结构,构造一个低曲率空间,使参数更新在这个空间内基本不改变保留损失。为了适配大模型规模,该方法借助 Kronecker 分解近似曲率(K-FAC)和分解投影降低计算成本;同时还给出低秩版本 CurvLoRA,用于更高效的适配。

论文在数学推理、代码生成和知识遗忘三类任务上评测。摘要称,在数学推理和代码生成上,新方法在取得有竞争力的下游表现的同时,对通用能力的保留优于基线;在 TOFU 和 MUSE 遗忘评测中,目标遗忘与知识保留的平衡也更好,保留表现接近从头重训的参照。上述结论仅来自摘要,目前公开信息显示尚未披露完整实验细节与同行评审状态。

为什么重要

大模型适配的难点不只是“学会”,而是“学会后别忘”。无论是行业模型微调、LoRA 增量训练,还是出于合规需求的知识遗忘,业界长期面对“获得—保留”的取舍。CurvDelta 的思路是把保留约束前置到参数化的几何设计中,而不是靠事后正则或数据配比补救,这为训练侧提供了一条可扩展的新路线,也可能影响开源微调工具链与遗忘合规方案的设计。

对用户/开发者/创作者的影响

对开发者而言,如果 CurvLoRA 的低秩路线后续被验证可落地,意味着在有限算力下做领域适配时,有机会减少通用能力回退,降低多轮微调后的评测波动。对企业和内容创作者,选择性遗忘如果更可控,有助于模型治理与数据合规,但前提是经过独立复现。目前仍属研究阶段,不建议将其视为可直接接入的 API 或产品。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是论文是否公开完整实验与代码,尤其在更大参数模型上的开销与稳定性;二是 CurvLoRA 与主流 LoRA 微调方案的实际对比,包括训练速度和显存占用;三是能力遗忘方向能否在真实合规场景中被采用,以及是否出现开源实现跟进。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 36045

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注