Feature Request: Two-tier GPU+RAM expert cache for MoE offload (pluggable eviction policy)

“Feature Request: Two-tier GPU+RAM expert cache for MoE offload (pluggable eviction policy)” 不是运行报错,而是针对 `--cpu-moe` 场景下每个 token 重复从 RAM 向 GPU 拷贝热点专家的

“Feature Request: Two-tier GPU+RAM expert cache for MoE offload (pluggable eviction policy)” 不是运行报错,而是针对 `--cpu-moe` 场景下每个 token 重复从 RAM 向 GPU 拷贝热点专家的

"Misc. bug: Nemotron 3 / 3.5 GGUFs are tagged "pixtral" and get the wrong pre-tokenizer" 通常出现在用 llama.cpp 加载 Nemotron 3 / 3.5 系列 GGUF(如 Nemotron-3-Nan

当 GGUF 词表对应的 Hugging Face tokenizer 不需要清理空格时,llama.cpp 仍对 BPE 词表启用了 clean_spaces,导致 llama_detokenize 删掉 “!”“?”“.”“,” 前面的空格以及 “'s”“'re” 前面的空格,表现为解码文本与原

在 Dify Studio 工作流中打开内嵌 Agent 节点的配置弹窗,当浏览器视口窄于 xl 断点(1280 CSS 像素)时,弹窗会丢失两栏布局:Configure 面板保留桌面端宽度,Build/Preview 折到下方,关闭按钮随预览页头下移。优先排查内嵌弹窗对共享 AgentConfig
![[Bug]: Wide speculative decoding verify (num_speculative_tokens ≥ 7) samples EOS at `prompt_len+8` on hybrid GDN models (Qwen3.5): silent ea](https://www.chat-gpts.plus/wp-content/uploads/2026/10/61738-8d640711-768x403.jpg)
在 vLLM 启用投机解码(speculative decoding)跑 Qwen3.5 这类 hybrid GDN 模型时,可能在第 10 个 token 附近静默提前停止( finish_reason=stop ),输出在 EOS 行之前逐字节干净;Issue 讨论最终判定为 bf16 下 EO

该问题出现在 Open WebUI 的“设置 → Archived Chats”页面使用搜索框时:列表会筛选,但屏幕阅读器(Issue 中为 Orca)不会收到匹配数量或“无结果”的播报,只回显用户输入。它属于无障碍播报缺失,不是后端搜索失败;优先排查前端是否加载了包含无障碍状态行的修复版本。

该问题出现在 Open WebUI 开启上下文压缩、且为某个模型单独设置了更低的 compact_token_threshold 时: / 弹出层里的上下文占用百分比仍按全局阈值计算,而实际自动压缩按模型阈值触发,因此显示值与实际行为不一致。优先排查模型级阈值是否未传到前端、以及服务端计算上下文占用

这个报错通常发生在使用基于 SentencePiece/Metaspace 的 tokenizer(如 NLLB-200)并通过 add_tokens() 添加词表外片段后,当新增 token 后面紧跟其他字符(而不是空格)时,tokenizer 会在新增 token 之后额外插入一个空格。优先排查

该报错通常发生在使用 Ollama 加载新模型 Flint 时,底层 llama-server 进程因无法识别模型架构而退出。优先确认当前 llama.cpp 与 Ollama 大版本是否已包含 Flint 架构支持,而不是先排查显卡或显存问题。

这个报错出现在 Langfuse Cloud 组织级 SSO 选择 Provider = OneLogin 时:保存校验通过所需的 issuer 与 NextAuth 登录流程拼接 discovered URL 所需的 issuer 不一致,导致“能保存的配置登不进去、能登录的配置存不下”。排查重点