LLM规划难在哪:结构难度与语义理解需分开评估

一篇 arXiv 新论文指出,评测大模型做经典规划任务时,应把“结构复杂度”和“符号语义可读性”分开看;现有的符号启发式已能较好预测结构难度,真正制约 LLM 规划表现的是谓词语义理解。

一句话看懂:一篇 arXiv 新论文指出,评测大模型做经典规划任务时,应把“结构复杂度”和“符号语义可读性”分开看;现有的符号启发式已能较好预测结构难度,真正制约 LLM 规划表现的是谓词语义理解。

事件核心:发生了什么

该论文于 2026 年 10 月 21 日发布于 arXiv cs.AI,目前公开信息仅为摘要,未经核验全文实验或同行评审。作者在 7 个 STRIPS 规划域上以 BFS 最优规划长度为难度依据,比较多种“不求解实例即可预测结构难度”的方法。结果显示:零训练的 delete-relaxation 启发式 h_add 在留出域上的平均 Spearman 相关系数 |ρ| 达 0.931,高于岭回归(0.707)、对象数量(0.657)以及情节检索架构 ARC(0.400);ARC 甚至未能超过使用相同特征的线性模型。

为单独考察语义影响,作者在保持状态、转移和最优规划不变的前提下逐步重命名谓词。有效 LLM 规划成功率从 0% 重命名的 67.5% 降到 100% 重命名的 40.0%,拒绝回答比例始终为 0%。另有一项对照:把 ARC 的条件信息直接交给 LLM 在上下文中预测难度,平均 |ρ| 为 0.826,优于训练过的 ARC。

为什么重要

这项工作把两个常被混在一起的问题拆开了:任务本身有多复杂,以及模型能否读懂符号词汇。对 AI 规划研究和混合规划系统来说,这意味着继续堆叠结构难度预测器未必是提升 LLM 规划能力的最优路径。论文还提到,在 LLM 与符号规划器之间做混合路由时,效果更依赖对目标 LLM 实际行为的校准,而非选择了哪个结构分数。这为后续评测设计和系统组合提供了更明确的着力点。

对用户/开发者/创作者的影响

对开发者而言,若在 AI 应用或 Agent 中接入规划模块,选择外部符号规划器时不应只看任务结构指标,更要测试目标大模型对具体谓词命名的敏感度。换一套字段名或业务术语,规划成功率可能明显变化,提示词和工具 schema 的语言一致性值得纳入回归测试。对使用 LLM 做自动化流程编排的团队,混合路由的阈值应在真实模型输出上校准,而不是套用通用难度分数。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是全文是否公开更多规划域和模型规模的实验,验证上述相关系数与成功率区间是否稳定;二是是否出现针对谓词语义敏感性的 LLM 行为建模方法;三是混合规划中间件或 Agent 框架是否会吸收“按目标模型校准”的思路,改变路由设计。

来源:arXiv cs.AI

celebrityanime
celebrityanime
文章: 29572

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注