标签: GPT-4

纯C实现的Microgpt在Apple m5上达到10M tps

纯C实现的Microgpt在Apple m5上达到10M tps

有开发者使用纯 C 语言实现了一个微型 GPT(Microgpt),据称在 Apple M5 芯片上跑出了惊人的 1000 万 tokens/秒(10M tps)推理速度。这一数据若属实,将大幅刷新人们对端侧大模型推理效率的认知,也再次引发关于“算法效率比堆算力更重要”的讨论。

你的 Agent 到底需要多少记忆?

你的 Agent 到底需要多少记忆?

IBM 研究团队通过 8 款模型的大规模评测发现,给 AI Agent 添加“记忆”并非越多越好,记忆量需要根据模型能力进行“剂量校准”——强模型适合全量注入,弱模型更适合精选检索,饱和模型则几乎没有增益。