标签: AI应用

issue: context compaction never fires during a long tool run, the request hits the context limit

issue: context compaction never fires during a long tool run, the request hits the context limit

该报错通常出现在开启上下文压缩(context compaction)后,模型在单次回复中连续执行大量工具调用(tool call)的长任务里。压缩逻辑在两次工具轮次之间按粗略字符数估算对话大小,忽略了提供方每轮返回的真实 token 数,于是阈值永远达不到,最终请求撞上上下文上限。优先排查压缩阈值

Float16 issue

Float16 issue

这个 Float16 issue 通常会出现在 Faster Whisper 调用 CTranslate2 加载模型时,程序把权重推断为 float16,但当前 GPU/后端不支持高效的 float16 计算。优先排查显卡是否具备 Tensor Cores,以及 transcribe 时指定的 co