标签: LLM

Eval bug: SYCL garbage on the second prompt.

Eval bug: SYCL garbage on the second prompt.

该报错在 llama.cpp 的 SYCL 后端下,发送第二个 prompt 时触发,表现为输出乱码。核心诱因是模型权重中包含大量 Q2_K 量化张量,它们在特定 batch 大小下触发了 SYCL 的 reorder 路径缺陷,可优先尝试通过设置环境变量 GGML_SYCL_ENABLE_OPT=

AI Cold Showers

AI Cold Showers

一篇在 Hacker News 引发热议的个人长文,作者梳理了多篇“给 AI 降温”的文章,并公开承诺三条个人底线:不用 AI 代写、不用 AI 代读、不把未经消化的 AI 输出转给他人。它提醒我们,当大模型能力快速逼近甚至超越人类时,真正稀缺的可能是人类自己的思考与表达。

TikTok SRE 技术负责人:AI Agents 说到底就是分布式系统

TikTok SRE 技术负责人:AI Agents 说到底就是分布式系统

TikTok 的站点可靠性工程师(SRE)Salman Munaf 指出,AI Agent 一旦开始调用外部 API、数据库或工具,它的本质就从“文本生成模型”变成了“分布式系统”。开发者必须用幂等键、状态查询、熔断器和补偿事务等传统后端手段来约束 Agent,否则一次简单的“超时重试”就可能造成重复退款、删…