标签： LLM

CUDA out of memory

CUDA out of memory

用户在使用 vLLM 部署 Qwen3-VL-235B 模型，处理多图片、长序列、多轮对话输入时触发 OOM。环境为 8×H100 80GB，运行 Ubuntu 24.04，PyTorch 2.10.0+cu129，CUDA 12.9。

Kit For AI

Kit For AI

Kit For AI 今日在 Product Hunt 上线，定位为 AI 智能体的“记忆层”。它提供持久化记忆和接地知识（grounded knowledge），让开发者只需通过一个 API 就能让 AI 调用原生 MCP 工具，跳过搭建和维护 RAG 系统，目前免费可用。

LLM批评者说得对，但我还是用LLM。

LLM批评者说得对，但我还是用LLM。

Hacker News 上一篇高赞讨论点出了 LLM 使用者的核心矛盾：批评者担心长期依赖 LLM 会导致软件工程等领域的“思维肌肉”萎缩，但使用者自己确实体验到了效率提升和学习加速。这场争议不是简单的对错之争，而是每个人都要面对的生产力与能力投资的取舍问题。

安全事件披露——2026年7月

安全事件披露——2026年7月

Hugging Face 披露了一起由自治 AI 代理系统驱动的生产环境入侵事件，这是首次公开确认的“AI 攻击 AI”安全事件；攻击链始于恶意数据集，而防御方同样依靠 AI 工具完成分析响应，揭示了新一代攻防不对称局面。