DFlash draft acceptance rate collapses to zero when using quantized –cache-type-k-draft (or v)

用户在 llama.cpp 的 llama-server 中使用 DFlash 推测解码( --spec-type draft-dflash )时,通过 --cache-type-k-draft q8_0 或 --cache-type-v-draft q8_0 将草稿模型的 KV 缓存类型设置为量化

用户在 llama.cpp 的 llama-server 中使用 DFlash 推测解码( --spec-type draft-dflash )时,通过 --cache-type-k-draft q8_0 或 --cache-type-v-draft q8_0 将草稿模型的 KV 缓存类型设置为量化

特朗普政府从早期推崇“轻触式”AI监管,转向直接干预美国顶尖AI模型的出口与部署,对多个头部大模型施加了新的使用与分发限制,标志着美国AI政策从产业促进进入出口管控与技术安全的博弈阶段。

Netflix 在 2025 年 3 月以 5.87 亿美元现金收购了 Ben Affleck 创立的 AI 初创公司 InterPositive,旨在通过定制化 AI 工具提升影视后期制作效率,而非生成内容。

Anthropic 和 OpenAI 近期在发布新模型后异常频繁地向用户随机重置每周配额——两周内 OpenAI 至少重置了六次 Codex 配额。原本是补偿性的“免费福利”,却让深度用户陷入“用不完就浪费”的焦虑,反而打破了正常使用节奏。

用户发现包括Claude和GPT系列在内的多个热门大模型频繁重置或缩短免费/付费额度周期,疑似厂商为争夺月活用户(MAU)而主动触发的计量调整,背后是补贴退坡与IPO前竞争的双重压力。

中国公司月之暗面(Moonshot AI)本周发布新一代开源模型Kimi K3,其性能在多项评测中追平甚至超越部分旗舰闭源模型,引发华尔街震荡和华盛顿的AI政策辩论。当前美国围绕中国AI模型的焦虑,已从技术能力蔓延至国家安全、开源机制与市场保护的多重博弈。

NVIDIA 发布了 DeepStream 9.1,这是一款将智能体 AI(Agentic AI)引入视觉分析套件的重大更新,新增了 13 项预构建的 AI “技能” 和多视角 3D 追踪功能,使开发者能更快速、更高效地构建复杂视频分析应用。

用户在使用 vLLM 部署推理服务时,当 vLLM 通过 fork 方式启动 EngineCore/Worker 子进程,且环境中安装了 Triton 3.8 版本,子进程在调用 torch.cuda.set_device(0) 或 torch.accelerator.set_device_inde

Reddit 上一个热门讨论提出了一个看似简单却深刻的问题:在 AI 生成内容泛滥的未来,人类如何证明一段文字、一张照片或一段视频是“真实”的?这个问题触及了 AI 时代信息可信度的根本困境。

用户在 Open WebUI v0.9.6(Pip Install,Windows 系统)中创建了一个知识库 KB ,上传了 3 个文件,并在模型设置中启用了 "Native" Function Calling(方法来自社区讨论建议)。当用户向模型发送提示词(例如要求模型遍历 KB 中的所有文件)时