Eval bug: server silently stops processing when /metrics endpoint is scraped by VictoriaMetrics

在启用 --metrics 的 llama-server 上,当 VictoriaMetrics 每秒抓取 /metrics 且一次请求的提示词处理时间足够长(约超过 20 秒)时,服务端可能静默停止生成,即出现 Eval bug: server silently stops processing

在启用 --metrics 的 llama-server 上,当 VictoriaMetrics 每秒抓取 /metrics 且一次请求的提示词处理时间足够长(约超过 20 秒)时,服务端可能静默停止生成,即出现 Eval bug: server silently stops processing

在 GLM-5.3-Flash + mmproj 的多模态推理场景下启用 --spec-type draft-mtp (GLM5Next MTP 投机解码)时,所有带图片的请求都会返回 HTTP 500,日志报出 “failed to process speculative batch”,原因是投机

该报错通常出现在用 vLLM 加载 Zamba2 模型并同时启用 LoRA 的场景:Zamba2 并不支持 vLLM LoRA,但这一限制未在配置校验阶段拦截,而是在 worker 加载模型、进入 Zamba2Model.__init__ 时才由一条无消息的 assert not is_lora_e
![[Bug]: Text PEFT LoRAs can silently no-op for wrapper models whose LM is mounted under language_model](https://www.chat-gpts.plus/wp-content/uploads/2026/10/48019-e47a4f68-768x403.jpg)
在 vLLM 中给 Qwen3-VL 等“文本主干挂在 language_model 下”的多模态 wrapper 模型加载纯文本 PEFT LoRA 时,适配器可能静默失效(no-op),加载日志无明显报错但输出等同基座模型。优先排查该模型的 hf_to_vllm_mapper 是否缺少裸 mod
![[Bug] TieringOffloadingSpec fs-tier lookup succeeds but never triggers a promotion job (active_promotion_jobs stays 0)](https://www.chat-gpts.plus/wp-content/uploads/2026/10/61373-e203cc31-768x403.jpg)
该现象出现在 vLLM 使用 OffloadingConnector + TieringOffloadingSpec 的 "fs" 二级缓存、两个独立引擎实例共享同一 root_dir 时:B 实例查询 A 写入的前缀后, vllm:kv_offload_tiering_active_promoti

当 Open WebUI 的后台任务请求(标题生成、标签生成、追问建议等)没有按预期加载任务模型单独配置的参数,例如 Ollama 的 keep_alive = -1 未生效、模型在任务执行后仍被卸载时,出现该问题。优先排查任务模型的参数是否配置在“被选为任务模型的那个基础模型”上,以及是否有其他请

在 Open WebUI 中,从首页新建会话并启用工具/MCP、技能或过滤器后,发送消息再离开并返回该会话,这些开关会丢失。优先排查会话级开关是否只依赖 sessionStorage 输入草稿,以及草稿键名是否正确。

当模型把上传图片的“文件名”(如 photo.png)而不是“文件 id”传给内置 edit_image 工具时,常见表现是图片明明存在却返回 404;优先确认模型传入的是文件 id 或文件 URL,而不是裸文件名。

这个报错通常出现在 Ollama v0.15.0 启动或执行 prune 清理时,扫描到某个模型 manifest 文件已损坏(Issue 中为读取时返回 EOF),于是跳过清理并持续输出 WARN。即使用 ollama rm 重新拉取模型后警告仍在,说明残留的 manifest 文件没有被正常清除

在 Linux 上将 OLLAMA_HOST 设为 0.0.0.0 后,Ollama 仍可能只监听 IPv6( :::11434 ),此时通过 IPv4 或 Docker 容器内的 IPv4 地址访问会失败。优先排查系统 IPv6 绑定行为( bindv6only )以及 IPv4 端口是否可达。