标签： LLM

Chain of Thought（思维链）到底是怎么工作的？ 很多人第一次听到 Chain of Thought（CoT），会觉得这是一个很复杂的 Prompt Engineering 技巧。 其实它的核心思路非常简单：不要让模型直接跳到答案，而是把复杂问题拆开，让模型沿着中间步骤一步步完成。 这件事为什么有效？要理解 CoT，得先理解 LLM 是怎么生成答案的。 LLM 并不是“一次性”想出答案 我们给 ChatGPT 一个问题，它…

Chain of Thought（思维链）到底是怎么工作的？ 很多人第一次听到 Chain of Thought（CoT），会觉得这是一个很复杂的 Prompt Engineering 技巧。 其实它的核心思路非常简单：不要让模型直接跳到答案，而是把复杂问题拆开，让模型沿着中间步骤一步步完成。 这件事为什么有效？要理解 CoT，得先理解 LLM 是怎么生成答案的。 LLM 并不是“一次性”想出答案 我们给 ChatGPT 一个问题，它…

2026 年 9 月 11 日，X 用户 @Zen_with_AI 发布了一篇关于 Chain of Thought（思维链，CoT）机制解释的帖文，用苹果加减法、汽车行驶距离等例子说明 CoT 为什么有效、Zero-shot 与 Few-shot 怎么选，以及它和当下 Agent 系统的关系。值得关注的点在…

Eval bug: Qwen 3.5 weird behavior…

Eval bug: Qwen 3.5 weird behavior...

该问题通常出现在 llama.cpp 使用 CUDA 后端、通过 Docker 同时挂载多块 NVIDIA GPU 运行 Qwen 3.5 GGUF 模型时，即使将 temperature 设为 0，输出也可能变成一串 /////// 或 ??????? ，并且结果不稳定；优先排查多 GPU 切分与

Eval bug: on HIP, a sequence whose prompt shares a llama_decode() batch with another sequence’s decode row gets corrupted logits, and every

Eval bug: on HIP, a sequence whose prompt shares a llama_decode() batch with another sequence's decode row gets corrupted logits, and every

在 HIP（ROCm）后端下，当一个新序列的 prompt 行与另一个正在生成序列的 decode 行被放进同一个 llama_decode() batch 时，加入方序列（seq 1）的首个采样 token 就会出错，并退化成 3–7 个 token 的循环，但所有调用仍返回成功。优先确认是否在使