分类: AI 工具排错

Eval bug: SYCL garbage on the second prompt.

Eval bug: SYCL garbage on the second prompt.

该报错在 llama.cpp 的 SYCL 后端下,发送第二个 prompt 时触发,表现为输出乱码。核心诱因是模型权重中包含大量 Q2_K 量化张量,它们在特定 batch 大小下触发了 SYCL 的 reorder 路径缺陷,可优先尝试通过设置环境变量 GGML_SYCL_ENABLE_OPT=