分类: AI 工具排错

CUDA out of memory

CUDA out of memory

这个报错通常出现在 vLLM 0.24.0 于 Blackwell SM120(compute capability 12.0)显卡上加载 DeepSeek / Qwen 类模型并启用 CUDA graphs 时,属于 allocator 与 custom all-reduce 图捕获注册路径不兼容

记忆向量化的模型选择只能选对话模型

记忆向量化的模型选择只能选对话模型

在 LobeChat 中配置记忆功能时,如果「记忆向量化」的模型选择器里只列出对话(chat)模型、看不到 Embedding 模型,通常是自定义 Embedding 模型缺少类型推断逻辑,被系统默认归类为 chat 模型所致。优先检查自定义模型名称是否包含关键词,或确认版本是否已包含相关修复。