OR-License基准发布:11款前沿大模型实测运筹咨询,Claude Code最佳配置可行率88.39%

Hugging Face Papers 收录的论文提出 OR-License 基准,用真实付费运筹咨询项目检验大模型智能体能否直接从客户原始材料交付专业方案;结果显示模型在条件目标质量上可超过专家,但综合质量仍落后。

一句话看懂:Hugging Face Papers 收录的论文提出 OR-License 基准,用真实付费运筹咨询项目检验大模型智能体能否直接从客户原始材料交付专业方案;结果显示模型在条件目标质量上可超过专家,但综合质量仍落后。

事件核心:发生了什么

根据论文摘要(发布时间为 2026 年 10 月 16 日),研究团队构建了 OR-License——一个端到端运筹学(OR)评测基准,包含来自 10 个工业场景、总金额达 368 万美元的付费咨询项目中的 31 个实例。它在脱敏后保留了原始需求、输入数据、交付格式和信息边界。配套的 ORSim 客户端模拟器只披露业务事实,不提供运筹学专业知识,用来考察模型如何主动获取信息。评测隐藏进行,检查方案可行性,并对照客户已接受的专家方案比较目标质量,再以 Deployment-Adjusted Quality(DAQ)汇总,不可行交付计 0 分。

为什么重要

现有 OR 基准大多从自洽的问题描述或既定优化任务出发,跳过了“把客户原始业务材料翻译成专业方案”这一步,而这恰恰是真实咨询工作的核心难点。OR-License 把需求澄清、建模、实现和验证串在一起,更接近企业实际采购 AI 运筹服务时的场景。结果显示,在 11 款前沿大模型搭配 coding-agent harness 的条件下,部分模型的条件目标质量已超过专家参照,但没有一个在 DAQ 上追平专家。最强的主 Claude Code 配置严格可行率为 88.39%,DAQ 为 0.87(专家参照为 1)。这说明模型能在单点优化上接近甚至超越专家,但信息缺口处理和方案可靠性仍是短板。

对用户/开发者/创作者的影响

对企业采购方而言,短期内不宜把大模型智能体当作可直接签署的 OR 咨询替代品,可行性校验和人工复核仍是必要环节。对开发者,轨迹分析指出的两类高频问题是问题建模(formulation)失败和实现失败;在可评估任务上,各模型“同等任务量下研究链完成率”只有 24%–45%,这提示长程任务的进度管理与中间验证值得重点投入。对使用 Claude Code 等编码智能体的团队,客户信息获取不止是澄清问题,还延伸到方案开发与验证,后续阶段的问题解决确认比例反而更高,说明交互式追问和证据链记录可能提升交付质量。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是 OR-License 是否公开数据集与评测脚本,让更多团队复现这批数字;二是后续研究能否解释条件目标质量高、DAQ 却落后的差距,尤其是可行性与信息缺口问题;三是企业侧是否会采纳“证据关联的自改进”思路,把客户问答沉淀为可审计的求解依据。目前公开信息仅为论文摘要,具体实验细节和同行评审状态尚待核验。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 29632

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注