generate completion API hangs with certain models but not with others

该报错通常出现在 macOS(Apple Silicon)上用 Ollama 加载某些特定模型(如 qwen3.5:2b、gemma4:12b-it-qat)时, /api/generate 或 /api/chat 请求挂起、GPU 占用 100% 且迟迟不返回,而其他模型(如 llama3.2:3

该报错通常出现在 macOS(Apple Silicon)上用 Ollama 加载某些特定模型(如 qwen3.5:2b、gemma4:12b-it-qat)时, /api/generate 或 /api/chat 请求挂起、GPU 占用 100% 且迟迟不返回,而其他模型(如 llama3.2:3
![[FEAT]: SerpKite native web-search provider — request for maintainer approval](https://www.chat-gpts.plus/wp-content/uploads/2026/10/6630-9b539d9e-768x403.jpg)
这不是运行期报错,而是第三方服务方向 AnythingLLM 提交原生 web-search provider 集成请求后被维护者关闭的场景;如果你在寻找 SerpKite 原生 provider 或看到请求被关闭,优先确认该请求未进入实现阶段、当前只能走现有 MCP 集成路径。
![[v2] MCPServer reports empty experimental capabilities as {} via initialize but None via server/discover](https://www.chat-gpts.plus/wp-content/uploads/2026/10/3254-96449ed8-768x403.jpg)
当 MCP Python SDK 2.x 的服务器没有配置任何 experimental capabilities 时,`initialize` 路径返回 `capabilities.experimental == {}`,而 `server/discover` 路径返回 `None`(且从 wir
![[enhancement]: Need a download retry feature in Model Manager](https://www.chat-gpts.plus/wp-content/uploads/2026/10/8840-e9568051-768x403.jpg)
在 InvokeAI 的 Model Manager 中下载大型模型(尤其来自 Hugging Face 的多文件模型)时,如果连接在传输中途被对端断开或挂起,下载会直接失败,重启后往往从 0% 重新开始,已下载的部分数据可能被丢弃。优先排查下载源连接稳定性和临时目录处理逻辑。

这个报错通常出现在 llama.cpp 使用 CUDA 后端、以较大 ubatch (例如 512)对 MoE 模型做 MUL_MAT_ID 推理时,报错原文为 Eval bug: CUDA MoE MMQ illegal memory access at ubatch 512 (src1 padd

该报错通常出现在 StableDiffusion3Pipeline 同时满足“批量 prompt(列表)+ 显式传入 num_images_per_prompt”时;根据 Issue 中的复现,真正触发崩溃的关键操作可能是调用了 pipe.transformer.fuse_qkv_projectio

这个报错通常出现在 RTX 50 系显卡(如 RTX 5070 Ti)上运行 faster-whisper 时,默认的 compute_type=auto/int8 与当前 CUDA/cuBLAS 环境不兼容所致。优先把 compute_type 改成 float16 再试。

这个报错通常发生在 Docker/Podman/k8s 容器里运行 Faster Whisper GPU 镜像时,宿主机驱动版本与容器内 CUDA runtime 不匹配,或 GPU 根本没有被正确挂载进容器。优先排查容器的 GPU 资源声明和挂载配置,而不是先升级驱动。
![RuntimeError: Worker failed with error 'MLA kv_data_type torch.uint8 is not supported. Supported dtypes: [torch.float16, torch.bfloat16, torch.float8_e4m3fn].', please check the stack trace abov](https://www.chat-gpts.plus/wp-content/uploads/2026/10/57713-741c6632-768x403.jpg)
这个报错通常出现在 vLLM 用 H100 等 Hopper 显卡加载 GLM5.3-Flash 并启用 --kv-cache-dtype fp8 时,MLA 的 KV Cache 实际收到了 torch.uint8 ,而当前支持的 dtype 只有 torch.float16 、 torch.bf

当你用 LangChain 的 ChatOllama 连接本地 Ollama 模型,并把 reasoning 设为模型自定义的思考等级(例如 "xhigh" 或 "max" )时,会在请求发往 Ollama 之前就被 Pydantic 拦截报错。核心原因是 langchain-ollama 依赖声明