Feature Request: Two-tier GPU+RAM expert cache for MoE offload (pluggable eviction policy)

该功能请求针对 llama.cpp 工具链。用户在运行 GPT-OSS-120B(128 专家/层,36 层,约 57GB 专家权重)等大规模 MoE 模型时,如果 GPU 显存不足(如 8GB VRAM),需使用 --cpu-moe 将 MoE 专家权重放在 CPU RAM 中。现有的 llama

该功能请求针对 llama.cpp 工具链。用户在运行 GPT-OSS-120B(128 专家/层,36 层,约 57GB 专家权重)等大规模 MoE 模型时,如果 GPU 显存不足(如 8GB VRAM),需使用 --cpu-moe 将 MoE 专家权重放在 CPU RAM 中。现有的 llama

数据科学顾问 Nikhil Suresh 在一期播客中直言,AI 无法解决企业交付能力不足的核心问题。他基于多年从业经验指出,许多公司真正的瓶颈在 DevOps、利益相关者管理和基础开发上,盲目上 AI 只会加剧资源浪费与团队疲惫。

Mesa 26.2 中针对 AMD R600 系列显卡的驱动迎来 59 项代码改进,其中部分清理工作由 GitHub Copilot 辅助完成。这一事实本身就值得关注——因为受支持的上游硬件早在 2007 年就已面世,AI 正在接手本已无人问津的遗产代码。

在 HN 社区中,多位开发者公开分享了他们使用 AI Agent(而非仅 LLM 对话)构建完整软件项目的真实案例,从地理数据整理到内部工具重写,AI Agent 正从“聊天玩具”变成实际生产力工具。关键在于,这些项目在无 Agent 的情况下几乎不可能以相同成本和时间完成。

开发者 gary23w 开源了一个名为 neuron-db 的关联记忆存储工具,核心思路是用纯文本事实替代向量嵌入,实现微秒级召回且无模型依赖。它不直接解决 LLM 上下文窗口限制,但为长期、低资源记忆管理提供了一种实用、可审计的替代方案。
![[Question]: Error 'Chunk not found!' while editing chunk](https://www.chat-gpts.plus/wp-content/uploads/2026/06/3268-f2e46bcb-768x403.jpg)
用户在使用 RAGFlow 的 WebUI,在知识库(Knowledge Base)中双击一个 chunk 进行编辑操作时触发此错误。用户可能加入了多个团队(Team),界面上显示了来自多个团队的知识库。

来自加州大学伯克利分校与密歇根大学的研究者在 ICML 2026 研讨会上发布了 Site4Drug——一个无需蛋白质三维结构、仅凭氨基酸序列即可预测药物结合位点的 AI 智能体系统,为解决药物发现流程中“位点选错”这一隐性瓶颈提供了可审计的自动化方案。
![[WIP Integration] LocateAnything-3B (MoonViT-SO-400M + Eagle MLP + Qwen2.5-3B): spatial localization failure and token count mismatch in cli](https://www.chat-gpts.plus/wp-content/uploads/2026/06/24020-8aeab169-768x403.jpg)
用户在使用 llama.cpp 的 llama-mtmd-cli 工具,将 nvidia/LocateAnything-3B 模型(架构:MoonViT-SO-400M + Eagle MLP 投影 + Qwen2.5-3B Instruct)集成到 mtmd / clip.cpp 框架时触发。模型

用户在 SiFive Premier P550 机器(RISCV64 架构)上编译 llama.cpp (提交 6b80c74f2853 ),编译成功后执行 llama-cli --version 立即崩溃,表现为 SIGILL 。编译时使用了 -DGGML_VULKAN=1 -DGGML_ZFH=

用户在使用 vLLM nightly Docker 镜像( vllm/vllm-openai:nightly )启动推理服务时,引擎初始化(编译、预热、CUDA graph 捕获)均正常完成,但 build_app() 在注册 Anthropic API 路由器时抛出 ImportError 异常,