标签: 大模型

Show HN: 如何在我的低配置电脑上运行 GLM-5.2

Show HN: 如何在我的低配置电脑上运行 GLM-5.2

一位开发者展示了一款名为 colibrì 的纯 C 推理引擎,能在只有 25GB 内存的个人电脑上运行 7440 亿参数的 GLM-5.2 混合专家模型。通过将大部分参数存储在磁盘并按需加载,它把原本需要数千美元专业显卡才能运行的模型,压缩到了消费级硬件可用的程度。

大湾区首个「国芯训国模」万卡智算集群落户韶关

大湾区首个「国芯训国模」万卡智算集群落户韶关

7月9日,粤港澳大湾区首个完全基于国产芯片、用于训练国产大模型的万卡智算集群在广东韶关数据中心集群正式发布。该集群总投资约55亿元,部署了3000个昇腾910C国产超节点,建成9000P(FP16)的统一智算资源池,是目前大湾区规模领先的全国产万卡训练集群。