标签： LLM

AI 资讯

[Bug]: thinking_token_budget not enforced on re-entry after natural

用户在使用 vLLM 推理引擎时，启用了 thinking_token_budget 配置参数（用于限制模型在块中的推理 token 数量），且模型在一个 completion 内可能输出多个块。当模型在第一个 thinking 块自然结束时（主动输出 </thi

celebrityanime
2026年 7月 11日

AI 资讯

[BUG]: Magic Echo On‑Screen Awareness for Generic OpenAI Connections

用户在 AnythingLLM Desktop v1.15.0（Windows）上，通过 llama.cpp 的通用 OpenAI 兼容端点（generic‑openai）连接视觉能力模型（如 Gemma 4 12B），并已按之前 Issue #5984 的建议在 .env 中添加了 PROVIDE

celebrityanime
2026年 7月 11日

AI 资讯

[Feature Request – RAGFlow+OceanBase] OceanBase Data Migration Tool

用户希望将 RAGFlow 中原本存储在 Elasticsearch（ES）的数据迁移到 OceanBase，以便在 OceanBase 环境下继续使用 RAGFlow。该请求针对的是 RAGFlow 的迁移工具模块，并非运行报错，而是缺失功能。

celebrityanime
2026年 7月 11日

AI 资讯

[Feature Request – RAGFlow+OceanBase] Storage Engine Performance Benchmarking

用户正在参与RAGFlow + OceanBase Hackathon活动，希望为RAGFlow项目添加一个性能基准测试框架。具体来说，需要在 test/benchmark/storage_benchmark.py 中实现一个类，用于对比不同存储引擎的性能表现。该请求涉及开发一个约200行代码的Py

celebrityanime
2026年 7月 11日

AI 资讯

[Feature Request – RAGFlow+OceanBase] OceanBase Implementation for Memory Subsystem

用户（RAGFlow开发者或贡献者）在参与RAGFlow + OceanBase Hackathon活动时，希望为RAGFlow的Memory子系统（消息存储、向量检索、会话管理）添加OceanBase数据库的后端实现。该功能基于GitHub Issue讨论，属于功能增强请求，非Bug报告。

celebrityanime
2026年 7月 11日

AI 资讯

AI模型协同设计：硬件友好的LLM设计

NVIDIA 发表技术博客，系统阐述如何通过调整大语言模型（LLM）的宽度（hidden dimension）、层数（L）与中间投影维度（H’），在保持精度的前提下，系统性提升推理吞吐量与交互响应速度。这并非一篇单纯的研究报告，而是一份指导模型开发者在设计阶段就对齐硬件特性的实用手册。

celebrityanime
2026年 7月 11日

AI 资讯

Compile bug: GCC 16.1 error

用户尝试在 Arch Linux 系统上编译 llama.cpp（Git commit 未指定），使用 cmake -B build -DGGML_CUDA=ON -DCMAKE_BUILD_TYPE=Release 进行编译配置。系统安装了 CUDA 13（具体版本为 13.2.78）和 GCC

celebrityanime
2026年 7月 10日

AI 资讯

issue: bug: Channel model reply stores empty content — channel emitter reads contentbut pipeline emits output`**

用户在 Ubuntu 24.04 系统上通过 Docker 部署 Open WebUI v0.10.2，启用 Channel 功能（ENABLE_CHANNELS=true 和 ENABLE_WEBSOCKET_SUPPORT=true），连接到兼容 OpenAI API 的 vLLM 后端。在 S