Eval bug: –moe-cache-mib crashes at load on Vulkan (RX 6900 XT, Windows)

在使用 llama.cpp 的 Vulkan 后端加载带 --moe-cache-mib 的 MoE 模型时,如果单个 cache bank 张量大小超过 Vulkan 设备/驱动的缓冲区上限,就会在模型加载阶段崩溃。优先排查大容量 --moe-cache-mib 配置及 Vulkan 后端的张量大

在使用 llama.cpp 的 Vulkan 后端加载带 --moe-cache-mib 的 MoE 模型时,如果单个 cache bank 张量大小超过 Vulkan 设备/驱动的缓冲区上限,就会在模型加载阶段崩溃。优先排查大容量 --moe-cache-mib 配置及 Vulkan 后端的张量大

TechRadar 刊发 Beyond 公司 AI/ML 工程负责人 Alberto Ocampo 的评论文章,认为企业不应为追逐 AI 声量而盲目部署更大模型或把 AI 塞进所有工作流,应优先解决真实业务问题并核算成本。这一判断值得关注,因为企业 AI 正从概念验证进入生产与 ROI 审查阶段。
![[Bug][ROCm]: ROCM_AITER_UNIFIED_ATTN gives wrong output on gfx950 when a layer's KV cache is 2–4 GiB](https://www.chat-gpts.plus/wp-content/uploads/2026/11/62606-98eab7eb-768x403.jpg)
在 gfx950(MI355X)上启用 ROCM_AITER_UNIFIED_ATTN 且每层 KV cache 落在 2–4 GiB 区间时,aiter 的 unified attention kernel 会因 32 位偏移溢出而静默返回错误注意力结果,表现为输出乱码、精度指标骤降或 EAGLE
![[RFC]: Request level text and derender output on `/inference/v1/generate`](https://www.chat-gpts.plus/wp-content/uploads/2026/11/56851-3fbe019f-768x403.jpg)
这个报错通常出现在把 vLLM 拆成 render → generate → derender 三段式(P/D 分离部署)后,调用 /inference/v1/generate 时带有文本或 derender 输出需求的场景。核心问题不是代码 bug,而是该接口目前只按 "tokens" 模式返回
![RuntimeError: Triton Error [CUDA]: an illegal memory access was encountered`. Because of async error reporting, it surfaces in a later, unrelated kernel. In our case it was usually the first pre](https://www.chat-gpts.plus/wp-content/uploads/2026/11/63514-6c966193-768x403.jpg)
当使用 --kv-cache-dtype int4_per_token_head 时,如果 reshape_and_cache_int4 送入 single_rht 的行数( num_tokens * num_kv_heads_per_rank )为奇数且达到约 1025 以上,Hadamard 变

这通常发生在 Open WebUI 中用 Docling 等方式索引多页 PDF、并开启“显示文档到相关页”工具调用时:检索分块里的 page 元数据是 0 起算,而 display_file 的参数是 1 起算,模型直接把元数据值传给工具,于是打开并引用前一页。

Hugging Face Papers 收录的一篇报告指出,LLM 智能体已能生成并迭代修改图形学代码,报告为此提出统一的分类框架和自动化文献分析系统,用来梳理这一快速膨胀的研究方向。

TokenSpeed 独立贡献者尚旭春在 AICon 2026 深圳站分享了面向 Agent 推理的新引擎设计,提出延迟约束下的吞吐目标,并披露在 Blackwell 平台上的阶段性测试数据。

arXiv 新论文提出 OmniPiano,一个支持 1 至 5 只 Shadow Hand 协同弹钢琴的强化学习基准,覆盖标准、鲁棒、安全与多智能体四类任务,至少 912 种任务设置和 36 个基线算法;作者称现有 RL 算法与前沿 LLM 智能体在困难任务上仍表现不佳。

一篇 arXiv 综述系统梳理了大模型改造 Text-to-SQL 的五类技术路线,把“自然语言问数据库”从规则匹配推进到多智能体协同,为开发者和企业选型提供了统一坐标系。