标签: ChatGPT

纯C实现的Microgpt在Apple m5上达到10M tps

纯C实现的Microgpt在Apple m5上达到10M tps

一个名为 microGPT-C 的开源项目用纯 C 语言、零依赖实现了一个字符级 GPT 训练与推理,在 Apple M5 Pro 上跑出了超过 1000 万 token/秒的推理速度,展示了极简实现配合现代 ARM 指令集能压榨出的惊人算力效率。

纯C实现的Microgpt在Apple m5上达到10M tps

纯C实现的Microgpt在Apple m5上达到10M tps

有开发者使用纯 C 语言实现了一个微型 GPT(Microgpt),据称在 Apple M5 芯片上跑出了惊人的 1000 万 tokens/秒(10M tps)推理速度。这一数据若属实,将大幅刷新人们对端侧大模型推理效率的认知,也再次引发关于“算法效率比堆算力更重要”的讨论。