LoCo 提出局部偏好学习:数学推理长度可压缩逾四成,准确率不降

Hugging Face Papers 收录的论文提出 LoCo,用局部偏好学习让大模型在“该停就停”,数学推理输出缩短约 42%–45%,准确率持平或提升。这为降低大模型推理成本提供了一条不依赖长轨迹裁剪的新思路。

一句话看懂:Hugging Face Papers 收录的论文提出 LoCo,用局部偏好学习让大模型在“该停就停”,数学推理输出缩短约 42%–45%,准确率持平或提升。这为降低大模型推理成本提供了一条不依赖长轨迹裁剪的新思路。

事件核心:发生了什么

根据论文摘要(2026 年 11 月 3 日发布),大型推理模型在难题上表现很强,但长思维链常在信息已经足够后继续“反复琢磨”,推高推理成本。作者指出,现有压缩方法多从整条推理轨迹入手,较少关注“当前状态下是否还需要继续推理”这一局部决策。

为此,团队提出 LoCo:从模型自身生成轨迹中识别候选“过度思考”状态,冻结对应推理前缀,从同一状态重新生成更短且经过验证的续写,再用 DPO 在这类“状态条件偏好对”上训练。按摘要说法,训练数据全部来自模型自生成的数学轨迹,并在 5 个数学和 3 个代码生成基准上评测。结果显示,数学补全长度缩短 41.7%–45.4%,代码缩短 23.4%–36.3%;准确率维持或提升,代码基准 AUC 最优。仅用数学数据训练也能迁移到代码任务。代码与模型计划在 GitHub 公开。

为什么重要

大模型的推理成本很大一部分来自“想太多”。如果 LoCo 的方法成立,它提供的不只是输出变短,而是让模型学会在具体状态上判断“继续想”还是“收尾”,这比笼统鼓励短答案更接近推理效率问题的本质。对依赖长思维链的数学、代码类 AI 应用来说,推理成本与延迟是商业化落地的现实约束,压缩空间直接关系到 API 调用成本和服务吞吐。同时,仅用数学轨迹训练却能迁移到代码生成,也提示这种局部偏好学习可能具备跨任务复用潜力。需要说明的是,以上均基于论文摘要,未经同行评审全文核验,也不代表已上线产品能力。

对用户/开发者/创作者的影响

对开发者而言,LoCo 的思路可被理解为一种训练侧优化:不需要改动推理框架,而是在模型层面减少无效推理步骤。若后续开源代码可用,团队可以尝试在自有数学或代码数据上复现“状态级偏好对”的构建流程,评估对推理延迟和 token 消耗的实际影响。对使用推理模型 API 的产品团队,更短的思维链意味着更低的调用成本和更快的响应,但能否落地取决于模型提供方是否采纳类似训练方法。对普通用户,短期不会直接感知变化,长期可能体现在数学解题、代码助手类 AI 应用的速度与价格上。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是代码与模型在 GitHub 公开后,社区能否复现摘要中的压缩比例和准确率结果;二是 LoCo 在数学、代码之外的开放域推理任务上是否同样有效,目前摘要未覆盖;三是主流闭源推理模型或开源模型厂商是否会跟进类似的局部偏好训练路线,以及它是否会影响推理 API 的定价和延迟表现。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 32540

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注