标签： LLM

AI 资讯

数学领域中人工智能的偏差

包括陶哲轩在内的 25 位菲尔兹奖得主联名签署声明，指出 AI 公司把“解题”当作大模型数学能力的基准，与数学界追求概念理解的目标严重错位，并已带来署名与原创性争议。

celebrityanime
2026年 9月 12日

AI 工具排错

Misc. bug: VRAM does not allocate with ROCm 7.14 on gfx1201

在 gfx1201（Radeon AI Pro 9700 XT / R9700）多卡机器上，用 ROCm 后端跑 llama.cpp 时模型权重全部落在系统内存，VRAM 几乎不占用，导致推理极慢；但 Vulkan 后端分配正常。优先排查 ROCm 运行环境（安装方式、容器 vs 本地、/opt/r

celebrityanime
2026年 9月 12日

AI 工具排错

Windows/MSVC: llama-server link fails with LNK2001 unresolved external “__” after #28091 (WINDOWS_EXPORT_ALL_SYMBOLS + PCH)

该报错发生在 Windows + MSVC 下编译 llama-server 时，链接阶段生成 llama-server-impl.dll 失败；核心原因是同一 target 上同时启用了 WINDOWS_EXPORT_ALL_SYMBOLS 和 target_precompile_headers

celebrityanime
2026年 9月 12日

AI 工具排错

[Perf] ~2x decode throughput regression for structured outputs since #45424: apply_grammar_bitmask staging rewrite (bisected to commit, file

该问题通常出现在 vLLM v0.24.0 / v0.25.1 上运行 xgrammar 结构化输出（guided JSON）时，引擎每步在 V1/V2 runner 里重新分配并 pin 一份 12.6 MB 级别的 bitmask staging buffer，导致含结构化输出的 batch 解

celebrityanime
2026年 9月 12日

AI 工具排错

[Bug]: Reasoning still returned in /responses while include_reasoning is set to false

当你在 vLLM 的 OpenAI 兼容接口 /responses 中调用带推理能力的模型（如 GLM 5.3+）并设置 include_reasoning: false 时，服务端仍然把 reasoning 内容作为独立的 reasoning 输出块返回，报错表现为 [Bug]: Reasonin

celebrityanime
2026年 9月 12日

AI 工具排错

[Performance]: MTP first repeat misses prefix cache on a hybrid Mamba/GDN model

在混合 Mamba/GDN 模型（如 Qwen3.8-27B-FP8，含 3 个 Mamba KV-cache group + 1 个 FullAttention group， mamba_cache_mode="align" ）上启用 MTP/EAGLE 投机解码时，相同 prompt 的第一次重

celebrityanime
2026年 9月 12日

AI 资讯

Chain of Thought（思维链）到底是怎么工作的？很多人第一次听到 Chain of Thought（CoT），会觉得这是一个很复杂的 Prompt Engineering 技巧。其实它的核心思路非常简单：不要让模型直接跳到答案，而是把复杂问题拆开，让模型沿着中间步骤一步步完成。这件事为什么有效？要理解 CoT，得先理解 LLM 是怎么生成答案的。 LLM 并不是“一次性”想出答案我们给 ChatGPT 一个问题，它…

2026 年 9 月 11 日，X 用户 @Zen_with_AI 发布了一篇关于 Chain of Thought（思维链，CoT）机制解释的帖文，用苹果加减法、汽车行驶距离等例子说明 CoT 为什么有效、Zero-shot 与 Few-shot 怎么选，以及它和当下 Agent 系统的关系。值得关注的点在…

celebrityanime
2026年 9月 12日

AI 工具排错

Eval bug: Qwen 3.5 weird behavior…

该问题通常出现在 llama.cpp 使用 CUDA 后端、通过 Docker 同时挂载多块 NVIDIA GPU 运行 Qwen 3.5 GGUF 模型时，即使将 temperature 设为 0，输出也可能变成一串 /////// 或 ??????? ，并且结果不稳定；优先排查多 GPU 切分与