分类: AI 工具排错

CUDA out of memory

CUDA out of memory

该报错发生在 DeepSpeed ZeRO-3 加载大型稀疏 MoE 多模态模型(如 MiniMax-M3 428B)时,问题根源并非 ZeRO-3 分区失败,而是 transformers 的 _initialize_missing_keys 将整个模型所有未初始化参数放进单个 GatheredP

Consider migrating from httpx to httpx2

Consider migrating from httpx to httpx2

该报错/问题发生在使用 OpenAI Python SDK 时,底层 HTTP 客户端 httpx 自 2024 年起停止维护,社区建议迁移至由 Pydantic Services Inc. 维护的 httpx2。优先排查方式:将 openai Python SDK 升级到 v3.0.0 或更高版本

[Bug]: litellm stops forwarding model requests

[Bug]: litellm stops forwarding model requests

该报错通常发生在 LiteLLM Proxy 网关空闲超过 24 小时后恢复使用时,已过期的临时密钥触发删除流程,产生 404: {'error': 'No keys found'} 异常循环,最终导致代理停止转发模型请求。优先排查密钥过期清理逻辑与删除流程中的异常处理。