标签: AI

Eval bug: random crashes in cudaStreamSynchronize

Eval bug: random crashes in cudaStreamSynchronize

该报错是 llama.cpp 在 CUDA 后端执行推理时,GPU 因长时间被占用未响应导致驱动看门狗(Watchdog)超时并触发内核态重置(Xid 8),进而引发 cudaStreamSynchronize 同步失败。优先排查 GPU 看门狗超时时间设置及超长上下文推理导致的单次 Kernel

OverMCP

OverMCP

OverMCP 是一款在 Product Hunt 上线的开发者工具,旨在简化大模型上下文协议(MCP)的接入与管理流程。它试图解决当前 AI 应用开发中工具调用和上下文连接繁琐的痛点,值得关注其后续的具体功能与定价策略。