标签: 算力

Murfy AI

Murfy AI

Murfy AI 是一款新近出现在 Product Hunt 上的 AI 工具,从产品形态看,它试图把 AI 能力嵌入到用户的日常工作中,让普通人无需理解底层模型细节即可调用生成式 AI。由于原始页面信息有限,目前公开信息显示它更偏向“AI 应用层”产品,而非底层大模型或算力服务。

700G 的大模型怎么塞进 8G 显存?聊聊量化和蒸馏

700G 的大模型怎么塞进 8G 显存?聊聊量化和蒸馏

当大模型参数规模逼近 7000 亿,普通消费级显卡的 8GB 显存早已无法直接加载推理,量化和蒸馏成为把模型“塞进去”并跑起来的关键技术手段。这篇文章梳理了这两条技术路线的原理和适用场景,帮助开发者理解如何在算力受限环境下部署大模型。