PORA提出按需分配推理预算:智能体该短思考还是长思考

arXiv 10 月 21 日收录的论文提出 PORA 方法,训练 LLM 智能体判断每一步该用短推理还是长推理,以在有限推理预算下兼顾当前动作质量与后续步骤。根据摘要,该方法在 BFCL 记忆任务上超过最强已有方法 17.4 至 32.9 个百分点。

一句话看懂:arXiv 10 月 21 日收录的论文提出 PORA 方法,训练 LLM 智能体判断每一步该用短推理还是长推理,以在有限推理预算下兼顾当前动作质量与后续步骤。根据摘要,该方法在 BFCL 记忆任务上超过最强已有方法 17.4 至 32.9 个百分点。

事件核心:发生了什么

LLM 智能体需要多步完成任务,并根据反馈修改动作。由于总推理预算有限,且要留给未来步骤,智能体在每次行动前都面临选择:多花算力深思,还是快速出手。论文指出,长推理能降低后续出错概率,却会挤占后续决策所需的预算。

为此,作者提出 PORA(Paired Outcome-guided Reasoning Allocation,配对结果引导的推理分配)。训练阶段,PORA 会从同一交互状态出发,分别以短推理额度和长推理额度把任务跑两遍,对比最终质量与总成本,学习“何时长推理更划算”。推理阶段,一个控制器把该估值与剩余预算压力对应的“价格”结合,在不重复运行两种方案的情况下做出选择。

摘要称,PORA 在应用、记忆、代码、零售和数学任务上均有较强结果:BFCL 记忆任务上领先现有最强方法 17.4 至 32.9 个百分点;在代码和数学任务上,与始终使用长推理的同一智能体相比,效果持平或更好,同时 actor token 减少 50.6%、模型请求减少 31.2%。需要注意,以上均为论文摘要中的数据,尚不代表产品已上线或经过同行评审。

为什么重要

当前智能体多采用“固定大量思考”的简单策略,推理成本随步骤数上升,在长流程任务中容易把预算浪费在低价值环节。PORA 把推理预算分配视为可学习的经济决策,同时纳入当下收益和未来预算压力。这种思路如果成立,有望在不大幅增加模型规模的前提下提升智能体任务的性价比,也为推理成本控制提供新的研究方向。

对用户/开发者/创作者的影响

对开发者而言,这类方法更直接的价值在调用成本结构:如果智能体能在简单步骤使用短推理,在关键步骤才投入长推理,同样的 token 预算可支持更多步骤或更多任务。对 AI 应用团队,这意味着多步 agent 的延迟和费用有望更可控;对研究者,训练时需要成对采样同一状态下的长短推理,会带来额外训练开销和工程复杂度,需要权衡。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

目前公开信息仅来自论文摘要,尚无开源实现、API 或具体产品接入信息,实际收益需等完整实验和复现结果验证。

值得关注的后续

一是代码或模型权重是否开源,以及对现有智能体框架的适配成本;二是完整论文是否给出跨模型、跨任务的稳定性数据;三是是否有商业 agent 平台或 API 厂商跟进类似预算分配机制。

来源:arXiv cs.AI

celebrityanime
celebrityanime
文章: 29574

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注