标签: ChatGPT

详解 大语言模型 的 KV 缓存工程

详解 大语言模型 的 KV 缓存工程

KV 缓存是制约大模型推理成本与速度的关键因素,本文梳理了业界减少 KV 缓存占用的 12 种工程技术,覆盖模型架构改动、量化压缩到推理引擎调度优化,为开发者在显存、速度和效果之间做取舍提供了完整参照。

Codex 实战系列| 史上最全 PPT 做做技能合集

Codex 实战系列| 史上最全 PPT 做做技能合集

AI 实践者 Miles 系统梳理了在 Codex 中用 AI 辅助制作 PPT 的完整工作流,覆盖 Slidev、Marp 和归藏社区 Skill 三条主流路线。此事值得关注,因为它展示了大模型从“写文案”延伸到“排版交付”的实际路径,也标出了 AI 生成演示文件当前的边界——尤其是可编辑性与复杂设计仍受限…

8.31—9.6|本周顶级 AI 论文

8.31—9.6|本周顶级 AI 论文

本周值得关注的两篇 AI 论文分别从“降低长上下文推理成本”和“让编程智能体长期自主运行”两个方向提出新方案,前者让模型自己决定读取哪些缓存,后者用多角色循环把零散任务组织成可持续数天的开发流程。