arXiv 论文:失败记录反让 LLM 在游戏中重复错误走法

arXiv 上一篇预印本论文发现,把失败走法和报错写进对话记录后,小型 LLM 在某些游戏中反而更可能重走刚失败的那一步;受影响的概率随模型和失败类型而不同,目前结论只基于摘要所述实验。

一句话看懂:arXiv 上一篇预印本论文发现,把失败走法和报错写进对话记录后,小型 LLM 在某些游戏中反而更可能重走刚失败的那一步;受影响的概率随模型和失败类型而不同,目前结论只基于摘要所述实验。

事件核心:发生了什么

该论文测试了 Sokoban、四子棋和黑白棋三种游戏,失败分两类:非法走法和合法但会输的走法,均由程序精确判定。研究者用扰动正确走法构造固定探针题,在 8 个经过指令微调的模型(135M 到 1.7B 参数)上做汇总测试。结果显示,记录中同时写入走法字符串和失败信息时,模型重走该失败走法的概率上升,作者用每个 token 的校正增益 G = -1.38 nats 表示这一负面效果。该效应主要经由走法的表面文本起作用,在非法走法上明显,在合法但输棋的走法上不明显,也并非每个模型都出现。

为什么重要

这直接挑战智能体工具调用中常见的“把错误写回上下文再重试”范式。作者探索性分析显示,写入失败记录后,该走法的对数概率几乎不再取决于它此前的概率(斜率 0.18),模型原本不会走的招法变得更可能被选中,贪婪解码甚至开始输出这些招法。对依赖小模型做低成本推理、智能体或游戏 AI 的团队,这意味着上下文里的失败反馈未必能起到纠正作用,甚至相反。

对用户/开发者/创作者的影响

开发者应审慎设计重试回路:摘要提到,去掉走法字符串、只描述失败的方式能保留模型原有偏好;“不要重复”指令几乎无效;干净重跑是最差的 harness;解码器禁用只能阻止精确重复,挡不住非法走法。游戏 AI 和自动化测试场景需要注意,失败记录可能放大表面形式相似的错误。目前公开信息显示,该结论来自摘要中的受控实验,尚不能外推到所有大模型或生产环境。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是论文全文及同行评审是否支持这些数字,尤其是 38% 贪婪解码重复率和 OLMo 2 1B 训练阶梯中 DPO 阶段消除反转的发现;二是 RAGEN 默认模型在其 Sokoban 格式下是否确实在 RL 前就出现反转;三是更实用的反馈格式(如省略走法文本)能否被主流智能体框架采纳。

来源:arXiv cs.AI

celebrityanime
celebrityanime
文章: 29733

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注