这看起来不太真实……但微软确实搞出来了!! 一个100B参数的模型,单个CPU就能跑。 不用GPU,不用复杂配置,就是重写了底层的数学实现。 大部分人可能没留意到这个细节 传统的大语言模型用的是16位浮点数,每个权重都是一串小数,比如0.0023、-1.47这种。 推理的时候要做几十亿次浮点乘法运算,这就是为什么非得用GPU不可。 BitNet的做法完全不一样。 它不用浮点数,改用三元权重:{-1, 0, 1}。 这不是压缩,也不是优…

微软开源了基于 BitNet 技术的大规模语言模型,用三元权重(-1、0、1)替代传统浮点数,让 100B 参数模型能在普通 CPU 上运行,推理速度和能耗表现显著优于传统方案。








