RuntimeError: dictionary changed size during iteration

这个报错通常出现在 LiteLLM Proxy 并发处理非流式 POST /v1/messages 请求时,成功日志线程与事件循环线程同时读写同一个 metadata 字典。优先排查是否启用了 litellm_settings.cache: true ,以及日志记录(spend row)与响应返回是

这个报错通常出现在 LiteLLM Proxy 并发处理非流式 POST /v1/messages 请求时,成功日志线程与事件循环线程同时读写同一个 metadata 字典。优先排查是否启用了 litellm_settings.cache: true ,以及日志记录(spend row)与响应返回是
![[Roadmap] vLLM Roadmap Q3 2026](https://www.chat-gpts.plus/wp-content/uploads/2026/10/48168-07ca8ed3-768x403.jpg)
这篇 Issue 是 vLLM 的季度路线图([Roadmap] vLLM Roadmap Q3 2026),本身不包含具体的运行报错或复现环境;它讨论的是 Q3 各 SIG 的目标,以及与 ROCm、量化、KV Offloading、Elastic EP 等方向相关的后续工作。该 Issue 已被

该报错出现在 Blackwell 架构(如 RTX PRO 6000、RTX 5070Ti)上使用 vLLM 加载 Qwen2.5-VL 系列模型时,模型权重加载完成后、初始化视觉编码器缓存阶段。优先排查 vLLM 与 PyTorch 是否包含该 SM 版本(如 SM120)的预编译算子支持,尤其是

该报错出现在 AI Agent(Tools Agent V3)使用启用了 thinking 的 Anthropic Chat Model、且模型在同一轮返回多个并行 tool_use 时:n8n 会把同一个 thinking 块连同签名复制到每个工具调用中,下一轮请求因签名前缀不匹配被 Anthro

在 ComfyUI 的 TextGenerate 节点里用 Qwen3.5 文本编码器并开启 thinking=true 时,如果 prompt 模板没有主动补上 \n ,模型要么不推理,要么推理内容出现在 generated_text 顶部而 thinking 输出为空。优先检查 p

接入 remote(远端拉取 / 自建 provider)的思考型模型后,若出现正文为空或长回复在固定长度处被截断,通常是应用没有把 remote 模型记录里的 maxOutput 写进去,请求侧的 max_tokens 落到了 16384 兜底值,思考过程把这份预算吃光,正文就没空间了。优先排查请

该问题出现在 SwarmUI 的 Model Downloader 中粘贴 Civitai 模型链接后,文件下拉框显示的命名与 Civitai 页面“Variants”里看到的名称不一致。核心原因不在 SwarmUI:Civitai API 返回的文件名与网页展示名不同,网页上的“REALISTIC

这是在 Vulkan 后端、多 GPU(Vulkan0,Vulkan1)+ --cpu-moe 运行多专家(MoE)模型时出现的提示处理/预填充性能回退:升级到包含提交 e0bcaccb 的构建后,prefill 从大约 95 tk/s 降到大约 4 tk/s,两块 GPU 的占用都上不去。优先排查

当 Vulkan 后端同时枚举到多个 GPU、并使用大上下文(如 -c 196608)配合投机解码(ngram-map / draft-mtp)时,自 e0bcacc 起 decode 吞吐量可能下降约 3 倍,而 draft 接受率不变。优先确认是否处于多 Vulkan 设备可见状态,以及构建是否
![[RFC]: Model customized KVCache Planning](https://www.chat-gpts.plus/wp-content/uploads/2026/10/44276-55fbc8f2-768x403.jpg)
这属于 vLLM 的 RFC/设计讨论,不是普通的运行时报错。核心议题是 [RFC]: Model customized KVCache Planning,也就是把 KV Cache 的分组与规划从核心层下放到模型层,以适配 DeepSeek-V4 这类包含多种 Attention 类型的模型。优先