标签: LLM

UIUC人工智能助教

UIUC人工智能助教

美国伊利诺伊大学厄巴纳-香槟分校(UIUC)开发了一套名为“AI教学助手”的开源系统,能够在电气工程课程中,并行运行11个模型完成文本、图像检索、生成、审核和排序,实现2秒内回复。这套系统旨在通过检索增强生成(RAG)和基于人类反馈的强化学习(RLHF),为学生提供高质量的多媒体问答服务,但受到教材版权和数据…

CUDA out of memory

CUDA out of memory

用户在使用 vLLM 部署 Qwen3-VL-235B 模型,处理多图片、长序列、多轮对话输入时触发 OOM。环境为 8×H100 80GB,运行 Ubuntu 24.04,PyTorch 2.10.0+cu129,CUDA 12.9。

Kit For AI

Kit For AI

Kit For AI 今日在 Product Hunt 上线,定位为 AI 智能体的“记忆层”。它提供持久化记忆和接地知识(grounded knowledge),让开发者只需通过一个 API 就能让 AI 调用原生 MCP 工具,跳过搭建和维护 RAG 系统,目前免费可用。