标签: Python

No module named ‘libtpu’

No module named 'libtpu'

用户使用 vLLM 0.11.1rc6 加载 Qwen3-VL-2B-Instruct 多模态模型,设置 --dtype float16 和 --max-model-len 2048 ,在 AMD RX 7800 XT (gfx1101) 上启动时触发 OOM。即使已安装 flash_attn==2

CUDA out of memory

CUDA out of memory

用户在 transformers 5.0.0.dev0(安装自 main 分支)中使用 AutoModelForCausalLM 配合 BitsAndBytesConfig 加载 4-bit 量化模型时,遇到 OOM。相同配置在 transformers 4.48 上可正常加载(约 9GB 显存),

How to use gpu when clip encoding?

How to use gpu when clip encoding?

在ComfyUI中使用 Load CLIP节点 加载CLIP模型进行文本编码时,尽管节点设备选项已设为“default”,但ComfyUI仍然将CLIP/text encoder模型强制加载到CPU上运行,导致编码极慢。该问题在加载WanTEModel等视觉语言模型时也会出现。日志中明确显示 CLI

bug: ADK integration does not have pretty traces

bug: ADK integration does not have pretty traces

用户按照 ADK 集成指南 (基于 OTel 集成)配置并成功将追踪数据发送到 Langfuse 平台,但在查看 trace 或 session 时,缺少示例文档中展示的“pretty”可视化选项。相反,只能看到原始的、难以阅读的结构化输出,需要多次点击才能查看完整对话。该用户期望像使用 Arize