分类： AI 工具排错

AI 工具排错

issue: “does not support tools”

当 Open WebUI 中使用的 Ollama 模型（如 PaddleOCR-VL、qwen3 8b 等）不支持工具调用（tools）能力，但 Open WebUI 默认按工具调用模式发起请求时，就会报 does not support tools 。优先检查当前模型的函数调用模式设置。

celebrityanime
2026年 9月 12日

AI 工具排错

Wrong router gradient with `experts_implementation=”batched_mm”` under expert parallelism

在专家并行（EP）下使用 experts_implementation="batched_mm" 时，MoE 路由门控权重（ mlp.gate.weight ）会收到错误梯度，loss 与参考实现完全一致，但梯度偏大约 50%；优先确认是否启用了 batched_mm ，并切换为 grouped_m

celebrityanime
2026年 9月 12日

AI 工具排错

mamba generation throughput lower than original due to DecodingCGCache

在 Transformers 中使用 MambaForCausalLM 生成文本时，如果吞吐量明显低于原始 mamba-ssm 仓库开启 cg=True 的结果，核心原因是 Hugging Face 实现当时未支持 torch.compile / CUDA Graphs 编译路径，而不是 use_c

celebrityanime
2026年 9月 12日

AI 工具排错

`httpx.PoolTimeout` occurs frequently with SyncClient

当你在生产环境中用 OpenAI Python SDK 的 SyncClient 以较高频率（如每秒 3-6 次请求）调用 ChatCompletions 时，默认的 HTTP 连接池配置可能不够用，从而频繁抛出 httpx.PoolTimeout 。优先排查默认连接池上限与超时设置，并考虑使用自定

celebrityanime
2026年 9月 12日

AI 工具排错

Vision example throws an error

这个报错通常发生在照抄 README 里的 Vision 示例、用远端图片 URL 调用 client.responses.create 时；优先排查示例中的图片 URL 是否过大或已失效，因为 API 侧下载该 URL 失败会直接返回 400。

celebrityanime
2026年 9月 12日

AI 工具排错

Update README & Quickstart to feature `gr.Server`

这是一个文档请求类 Issue（Update README & Quickstart to feature gr.Server ），并非运行时故障。它的诉求是把 README 与 Quickstart 改写为按 gr.Interface 、 gr.Blocks 、 gr.Server 三个复杂度层级

celebrityanime
2026年 9月 12日

AI 工具排错

Misc. bug: VRAM does not allocate with ROCm 7.14 on gfx1201

在 gfx1201（Radeon AI Pro 9700 XT / R9700）多卡机器上，用 ROCm 后端跑 llama.cpp 时模型权重全部落在系统内存，VRAM 几乎不占用，导致推理极慢；但 Vulkan 后端分配正常。优先排查 ROCm 运行环境（安装方式、容器 vs 本地、/opt/r

celebrityanime
2026年 9月 12日

AI 工具排错

Windows/MSVC: llama-server link fails with LNK2001 unresolved external “__” after #28091 (WINDOWS_EXPORT_ALL_SYMBOLS + PCH)

该报错发生在 Windows + MSVC 下编译 llama-server 时，链接阶段生成 llama-server-impl.dll 失败；核心原因是同一 target 上同时启用了 WINDOWS_EXPORT_ALL_SYMBOLS 和 target_precompile_headers

celebrityanime
2026年 9月 12日

AI 工具排错

[Perf] ~2x decode throughput regression for structured outputs since #45424: apply_grammar_bitmask staging rewrite (bisected to commit, file

该问题通常出现在 vLLM v0.24.0 / v0.25.1 上运行 xgrammar 结构化输出（guided JSON）时，引擎每步在 V1/V2 runner 里重新分配并 pin 一份 12.6 MB 级别的 bitmask staging buffer，导致含结构化输出的 batch 解

celebrityanime
2026年 9月 12日

AI 工具排错

[Bug]: Reasoning still returned in /responses while include_reasoning is set to false

当你在 vLLM 的 OpenAI 兼容接口 /responses 中调用带推理能力的模型（如 GLM 5.3+）并设置 include_reasoning: false 时，服务端仍然把 reasoning 内容作为独立的 reasoning 输出块返回，报错表现为 [Bug]: Reasonin

celebrityanime
2026年 9月 12日