标签: LLM

从零开始构建 AI 智能体记忆

从零开始构建 AI 智能体记忆

开发者 Jaydeep Karale 发布系列文章第 3 篇,用 Python、Ollama、SQLite 和嵌入模型从零搭建智能体记忆系统,不依赖 LangChain、LangGraph 或托管记忆服务,目标是让开发者看清"智能体记住一件事"背后的真实机制。

CUDA out of memory

CUDA out of memory

该报错通常出现在 vLLM 把 --gpu-memory-utilization 调得很高(如 0.98)、同时启用 CUDA graph capture 的场景:启动时的显存检查通过并按估算值分配了偏大的 KV cache,随后真实的 CUDA graph capture 却因显存不足抛出 CUD

如何做一个AI极简主义者

如何做一个AI极简主义者

Vox 科技记者 Adam Clark Estes 撰文讨论如何在 AI 无孔不入的当下做一名"AI 极简主义者"。文章援引盖洛普、皮尤等调查数据指出,美国人对 AI 的不信任度已明显高于信任度,而对普通用户来说,完全退出并不现实,但可以通过关闭系统级 AI 功能、调整搜索习惯、限制社交数据暴露等方式减少被动…