Vulkan backend does not reload model into vram if kicked out by other uses. Massive slowdown.
该问题通常出现在使用 llama.cpp 的 Vulkan 后端、模型被其他进程挤占显存后从 VRAM 迁到 GTT 的场景；模型不会被自动搬回 VRAM，导致推理速度从约 10 tokens/s 跌到约 1 token/s。优先排查是否由 AMD amdgpu 驱动的显存迁移/运行时电源管理行为导
celebrityanime
difyctl SSE read failures become unhandled rejections while the consumer processes an event
当 difyctl 的 SSE 消费端正在处理上一个已产出事件、尚未继续调用迭代器时，后台读取 Pump 因响应体失败而提前拒绝，就会触发 difyctl SSE read failures become unhandled rejections while the consumer process
[Roadmap] vLLM Roadmap Q3 2026
![[Roadmap] vLLM Roadmap Q3 2026](https://www.chat-gpts.plus/wp-content/uploads/2026/10/48168-07ca8ed3-768x403.jpg)
这篇 Issue 是 vLLM 的季度路线图（[Roadmap] vLLM Roadmap Q3 2026），本身不包含具体的运行报错或复现环境；它讨论的是 Q3 各 SIG 的目标，以及与 ROCm、量化、KV Offloading、Elastic EP 等方向相关的后续工作。该 Issue 已被
CUDA out of memory
在 vLLM 上为 Gemma 4 多模态模型启用 encoder CUDA graph（ cudagraph_mm_encoder: true ）并开启视频输入时，捕获阶段会按 max_frames_per_batch 为每个预算分配整幅图像尺寸的 dense pixel buffer，导致出现
No module named ‘libtpu’
该报错出现在 Blackwell 架构（如 RTX PRO 6000、RTX 5070Ti）上使用 vLLM 加载 Qwen2.5-VL 系列模型时，模型权重加载完成后、初始化视觉编码器缓存阶段。优先排查 vLLM 与 PyTorch 是否包含该 SM 版本（如 SM120）的预编译算子支持，尤其是
issue: ask_user rejects a JSON-string `questions` with a misleading “requires 1-3 questions” error, so small models retry the same call in a
该报错出现在模型调用 Open WebUI 内置工具 ask_user 时，把 questions 参数发成了 JSON 字符串而非数组； normalize_ask_user_request 只检查 list，于是字符串被误报为“requires 1-3 questions”，小模型无法理解错误并
AI Agent: Anthropic thinking block is duplicated across parallel tool calls, Anthropic API rejects the next turn with 400 “Invalid `signatur
该报错出现在 AI Agent（Tools Agent V3）使用启用了 thinking 的 Anthropic Chat Model、且模型在同一轮返回多个并行 tool_use 时：n8n 会把同一个 thinking 块连同签名复制到每个工具调用中，下一轮请求因签名前缀不匹配被 Anthro
AI Agent: Anthropic thinking replay sends earlier tool calls back as `input: {}`
该报错出现在 AI Agent（Tools Agent）配合 Anthropic Chat Model、模型默认开启 thinking 的情况下：历史工具调用的参数被回放成空对象，导致后续工具调用丢失参数并最终耗尽迭代次数。优先检查执行记录中回放的工具输入是否为 input: {} ，以及 Anth
TextGenerate: thinking output is empty for Qwen3.5
在 ComfyUI 的 TextGenerate 节点里用 Qwen3.5 文本编码器并开启 thinking=true 时，如果 prompt 模板没有主动补上 \n ，模型要么不推理，要么推理内容出现在 generated_text 顶部而 thinking 输出为空。优先检查 p
VHA注意力方案提出：KV缓存再减半，长上下文大模型推理能否更省算力
Hugging Face Papers 收录的论文提出 Virtual Head Attention（VHA），试图用两条轻量线性变换，在 KV 缓存、训练与预填充算力和模型质量之间同时改善，而不是三选二。值得关注的原因在于，它声称推理时可折叠回标准 GQA-2，直接复用现有优化。