标签: Python

Revisit the condition for scaling the loss

Revisit the condition for scaling the loss

这个 Issue 讨论的是 Trainer 中梯度累积时是否缩放 loss 的判断条件: model_accepts_loss_kwargs 会把“模型是否接受 loss 相关参数”和“loss 是否需要缩放”混在一起。在自定义 Trainer 自行计算 loss 时,这一判断可能引发困惑或额外处理

VRAM Accounting and GPU Splitting Fixes

VRAM Accounting and GPU Splitting Fixes

这类问题通常出现在 Ollama 加载模型或调度多 GPU 时:模型被错误驱逐、明明显存放得下却拒绝加载,或本可单卡运行却被拆分到多张 GPU。优先排查 Ollama 版本是否已包含这批 VRAM 核算与 GPU 拆分修复,再核对显存相关环境变量(如 OLLAMA_GPU_OVERHEAD 、 OL