Eval bug: llama_memory_seq_rm returns true but doesn’t restore the recurrent state when rolling back entire last decode

该报错出现在 llama.cpp 的 recurrent/hybrid 模型上,当调用 llama_memory_seq_rm 回滚整批最后一段 decode(且 n_rs_seq > 0 )时,函数返回 true 但没有恢复 recurrent state,导致后续解码结果与“未回滚”不一致。优先

快速结论:该报错出现在 llama.cpp 的 recurrent/hybrid 模型上,当调用 llama_memory_seq_rm 回滚整批最后一段 decode(且 n_rs_seq > 0)时,函数返回 true 但没有恢复 recurrent state,导致后续解码结果与“未回滚”不一致。优先排查:确认是否通过 MTP/推测解码等路径手动开启了 n_rs_seq,并避免在该路径下一次性移除整批 decode 的所有 token。

适用环境:Issue 已确认的环境为 Linux x86_64,llama.cpp version 10298(commit 15586e2d7),GNU

参考来源

ggml-org/llama.cpp #26695

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

这个方案解决了吗?

celebrityanime
celebrityanime
文章: 18313

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注