vLLM v0.28.0

vLLM 新版本 v0.28.0 发布,但用户反馈显示近几个版本在 DeepSeek-V4-Flash 和 Gemma-4 等主流模型上频繁出现卡死与乱码输出,推理引擎的稳定性问题再度成为社区焦点。

vLLM 新版本 v0.28.0 发布,但用户反馈显示近几个版本在 DeepSeek-V4-Flash 和 Gemma-4 等主流模型上频繁出现卡死与乱码输出,推理引擎的稳定性问题再度成为社区焦点。

Hacker News 上一场关于“LLM 是否让开发者失去思考能力”的讨论引发关注。核心争议是:当 AI 助手从“橡皮鸭”变成“资深结对程序员”,开发者可能因缺乏纠错反馈而逐渐丧失独立判断的敏锐度。

Debian 项目通过全体投票正式确立“负责任地使用生成式 AI”立场,既不禁止也不鼓励 AI 辅助开发,但要求所有贡献者必须对 AI 生成内容的质量和合规性负全责。这场投票否决了全面反 AI 提案,为开源社区如何处理大模型工具设定了重要参考坐标。

Debian 社区通过投票,正式允许开发者在使用生成式 AI 辅助的情况下提交补丁和参与软件包维护,但要求“负责任使用”。争议焦点并非“能不能用”,而是 AI 生成的代码正在让开源代码审查从“传帮带”变成“纯劳动力压榨”。

当 --spec-type 同时启用 draft-mtp 与外部草稿模型(如 draft-dflash )并配合 -md 参数时,llama.cpp 服务会在模型加载阶段崩溃,报错 failed to create MTP context 。优先排查共享 cparams 是否错误地将 LLAMA_C

KHMS 是一种让 LLM Agent 自己安装的长期记忆系统,用 Git 仓库里的 Markdown 文件和不可变卡片存储知识,解决模型“边聊边忘”和“重复踩坑”的问题。它把一个已在生产中运行多时的部署经验抽成了开源规范。

Z.ai 发布了 GLM-5.3 模型权重,但采用了一种新的开源许可:年收入超过 100 亿美元的公司,必须通过 Z.ai 的安全审查才能部署该模型。这是开源 AI 生态中首次出现按企业规模设置准入门槛的授权模式。

一位安全研究员在漏洞研究过程中,把大模型(LLM)的“记忆”重新设计成了一套 Datalog 推理引擎,让结论能随事实变化自动失效,而不是靠模型重新阅读对话来纠错。

AI 硬件创业公司澜存科技推出一款“傻瓜式”AI 模组和配套开发平台,让没有软硬件开发经验的人也能在半小时内做出一个能对话、有情绪的 AI 玩具。这正在把过去复杂的智能硬件集成工作变成标准化采购,降低 AI 硬件的创业门槛。

llama-server 在使用 --spec-type draft-mtp 且 KV cache 长期饱和时,会发生 cuBLAS 流指针损坏导致的硬崩溃(非优雅的上下文超限返回)。优先排查 MTP 双上下文路径中的主机端内存越界或悬垂指针问题,而不是 KV 容量配置。