标签: Python

Tiered context length can exhaust VRAM

Tiered context length can exhaust VRAM

此报错通常发生在 Ollama 0.15.5 及以上版本,自动根据显存设置默认上下文长度(Tiered context length)后,未考虑并行数( OLLAMA_NUM_PARALLEL ),导致显存溢出、模型被迫使用系统内存/交换分区而性能骤降。优先排查方式是显式通过 OLLAMA_CONT

RuntimeError: Application timeout caused pair closure

RuntimeError: Application timeout caused pair closure

该报错通常出现在 vLLM 多节点(2 节点及以上)大规模张量并行(如 TP=16)启动时的分布式初始化阶段,各 rank 在 Gloo barrier 中互相等待直至超时。优先排查是否由跨节点场景误入对称内存(symmetric memory) rendezvous 逻辑引起,可先尝试使用 --d