标签： LLM

在 vLLM 中启用 --sleep-mode-backend=cumem_tag ，配置 TP=2, PP=2（4 个 worker）部署，使用 AWQ-INT4 量化模型（如 cyankiwi/Qwen3.6-27B-AWQ-BF16-INT4 ），通过 /sleep 和 /wake_up 接口

用户在 RAGFlow 0.13.0 版本（Commit ID: BUG24110701，Windows 11 Docker 4.34.2 环境）中创建知识库并导入 DOCX 文件后，执行知识库搜索并点击搜索结果中的文件名进行预览时，弹窗显示预览失败；而 PDF 文件预览可正常显示。

用户在使用 RAGFlow 创建 Graph RAG 时，LLM 和 Embedding 模型均为阿里云通义千问（Qwen），触发报错。常规 RAG 功能正常，仅在创建 Graph RAG 时出现。

开源 AI 推理优化工具 TensorZero 在宣布完成 730 万美元种子轮融资后未满一年，便决定停止维护并归档仓库，剩余的融资资金被退回给投资人。这一事件引发了开发者社区对开源项目可持续性、创始人责任感以及 AI 基础设施“泡沫化”的广泛质疑。