标签: 算力

缓存到缓存:LLM 间的直接语义通信(2025)

缓存到缓存:LLM 间的直接语义通信(2025)

Hacker News 上有人提出,如果不同大模型的 KV 缓存可以互相理解,就能让模型之间直接“传缓存”通信,省掉重复预填充和交接延迟。帖子引用了 Ramp Labs 的相关讨论,但目前公开信息显示,这仍是一个概念设想,而非已落地的产品。

OpenAI 如何用自家 LLM 设计出 Jalapeño 芯片

OpenAI 如何用自家 LLM 设计出 Jalapeño 芯片

OpenAI 用自家大模型参与设计代号 Jalapeño 的自研 AI 芯片,并在首批流片回片后,让模型自动优化软件内核,把一项关键基准性能从理论峰值的 0.31% 提升到 88.94%,耗时约 40 小时。这意味芯片从流片到量产爬坡之间的软件适配时间可能被大幅压缩。