标签: LLM

Eval bug: Speculative Decoding intermittent timeout

Eval bug: Speculative Decoding intermittent timeout

用户在 llama.cpp 的 llama-server 中启用 Vulkan 后端,配合 AMD 显卡运行 Qwen3.6-35B-A3B-UD 模型,并设置了推测解码参数(包括 MTP 和 ngram-mod 模式)。问题通过 llama-swap 调用时被观察到,表现为流式输出突然暂停、连接持