
一句话看懂:开发者 Charles Azam 用同一道未公开的 NP 难优化题测试了 Claude Fable 5 和 GPT-5.6 Sol,结果 Fable 5 在解的质量和稳定性上全面领先,而两家模型自带的 /goal 指令模式虽能偶尔提升成绩,但总体效果并不稳定,甚至可能让表现倒退。
事件核心:发生了什么
Azam 公布了一项对照实验,测试的题目是 2018 年他作为工程学生时遇到的 KIRO 光纤网络设计问题。给定格勒诺布尔、尼斯和巴黎三城的定向距离矩阵,求解器需要在满足多项结构约束的前提下,用环路和短链连接分布点和终端,目标是总缆线长度最短。巴黎一个城市的搜索空间下限就达到约 10^1223 种可能。
测试对比了两个旗舰模型:Claude 的 Fable 5 与 OpenAI 的 GPT-5.6 Sol,每个模型分别在普通模式下和启用原生 /goal 指令模式下各跑 30 分钟。Fable 5 的普通模式三次跑出 32,197、32,516、32,446 的结果,误差幅度仅 319 点;GPT-5.6 Sol 普通模式的成绩为 33,581、35,539、33,663,波动幅度达 1,958 点。启用 /goal 后,Fable 5 最好成绩为 31,934(也是全场最优),但有一次回退到 35,178,导致均值变差;GPT-5.6 Sol 同样有升有降,均值劣于普通模式。
Azam 还检查了两家 /goal 的实现差异:Claude Code 使用一个独立评估器(默认是 Haiku)在每个模型交互后判断是否达成目标,评估器不读文件、不用工具;Codex 则将目标作为持久化的线程状态,拥有完整生命周期工具,两个系统在底层机制上完全不同。
为什么重要
这是少有的、对同一道复杂优化题做控制变量对比的公开实验,且问题本身难度明确、搜索空间巨大,能反映模型在推理与规划上的真实能力。Fable 5 极高的稳定性说明其在面对非结构化搜索时具备更强的“原始智能”,而 GPT-5.6 Sol 的波动则暗示其推理链条更容易被局部最优困住。
/goal 模式的表现同样值得警惕:虽然获胜率不错(6 次赢了 4 次),但均值却不如普通模式,说明这个功能不是通用的“再努力一下”开关,而是改变了搜索的控制循环和路径,有时能找到更好区域,有时只是给错误策略更多的成熟时间。这意味着用户如果想靠 /goal 稳定提升推理质量,需要根据问题类型做针对性测试,不能盲目依赖。
对用户/开发者/创作者的影响
对于需要做大模型驱动的优化求解(比如物流调度、网络规划、参数调优)的开发者和研究员来说,选模型时不能只看厂家宣传的 /goal 等模式名,而要用自己的题目做控制实验。本次实验显示,Fable 5 在普通模式下反而是最可靠的选择,而 /goal 模式下它的表现反而最不稳定;GPT-5.6 Sol 的 /goal 也有类似问题。
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
普通用户若有类似“让 AI 写出更优方案”的需求,可先尝试模型默认设置,再单独测试 /goal 的效果,不要一上来就开启所有高级选项。此外,由于两家实现完全不同(Claude 靠外部评估器判断,Codex 靠持久线程执行),如果跨模型迁移代码,不能假定 /goal 行为一致。
值得关注的后续
第一,该实验目前仅针对 KIRO 这一道特定题型,不排除在其他 NP 难问题上结果反转的可能,后续若有更多公开基准测试(如 MILP、SAT、约束满足问题)的对比,会更有参考价值。第二,Anthropic 和 OpenAI 都未公布 /goal 的详细算法文档,社区只能通过逆向实验推断内部逻辑,未来若两家公司开放更多关于搜索策略、退火温度或早停判据的信息,值得跟进。第三,Fable 5 的极端稳定性如果能在更多复杂问题上复现,可能促使更多企业将 Claude 纳入决策优化的工作流,进而影响大模型在企业级推理市场的竞争格局。
来源:Hacker News


