一句话看懂:arXiv 上一篇预印本论文发现,把失败走法和报错写进对话记录后,小型 LLM 在某些游戏中反而更可能重走刚失败的那一步;受影响的概率随模型和失败类型而不同,目前结论只基于摘要所述实验。
事件核心:发生了什么
该论文测试了 Sokoban、四子棋和黑白棋三种游戏,失败分两类:非法走法和合法但会输的走法,均由程序精确判定。研究者用扰动正确走法构造固定探针题,在 8 个经过指令微调的模型(135M 到 1.7B 参数)上做汇总测试。结果显示,记录中同时写入走法字符串和失败信息时,模型重走该失败走法的概率上升,作者用每个 token 的校正增益 G = -1.38 nats 表示这一负面效果。该效应主要经由走法的表面文本起作用,在非法走法上明显,在合法但输棋的走法上不明显,也并非每个模型都出现。
为什么重要
这直接挑战智能体工具调用中常见的“把错误写回上下文再重试”范式。作者探索性分析显示,写入失败记录后,该走法的对数概率几乎不再取决于它此前的概率(斜率 0.18),模型原本不会走的招法变得更可能被选中,贪婪解码甚至开始输出这些招法。对依赖小模型做低成本推理、智能体或游戏 AI 的团队,这意味着上下文里的失败反馈未必能起到纠正作用,甚至相反。
对用户/开发者/创作者的影响
开发者应审慎设计重试回路:摘要提到,去掉走法字符串、只描述失败的方式能保留模型原有偏好;“不要重复”指令几乎无效;干净重跑是最差的 harness;解码器禁用只能阻止精确重复,挡不住非法走法。游戏 AI 和自动化测试场景需要注意,失败记录可能放大表面形式相似的错误。目前公开信息显示,该结论来自摘要中的受控实验,尚不能外推到所有大模型或生产环境。
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
值得关注的后续
一是论文全文及同行评审是否支持这些数字,尤其是 38% 贪婪解码重复率和 OLMo 2 1B 训练阶梯中 DPO 阶段消除反转的发现;二是 RAGEN 默认模型在其 Sokoban 格式下是否确实在 RL 前就出现反转;三是更实用的反馈格式(如省略走法文本)能否被主流智能体框架采纳。
来源:arXiv cs.AI


