标签: API

三元大语言模型突破1.58比特障碍

三元大语言模型突破1.58比特障碍

一篇 arXiv 论文指出,三元大模型权重里“0”的比例最高可达 51.5%,据此提出的 BITCOS 存储布局把实测存储位宽压到最低 1.485 比特/权重,打破了常见的 1.58 比特门槛,并带来最高约 1.28 倍的推理加速。