标签: 算力

‘AI success will be defined not by how much infrastructure organizations own, but by how productively they use it’: Nvidia lays out its thoughts on how storage has become the next frontier of AI

'AI success will be defined not by how much infrastructure organizations own, but by how productively they use it': Nvidia lays out its thoughts on how storage has become the next frontier of AI

Nvidia 将 cuFile 存储接口及底层存储栈开源,并拉上 Google、Intel、Meta 等 40 多家厂商成立 Storage-Next 联盟,核心目标是让 GPU 绕过 CPU 直接管理存储 I/O,以解决 AI 推理中 KV Cache 带来的海量小数据读取瓶颈。

怪猜想:机器学习和深度学习目前已经事实上被LLM杀死了。没人搞什么线性回归各种回归、KNN、决策树、贝叶斯,甚至也没人写什么Tensorflow、Pytorch了。

怪猜想:机器学习和深度学习目前已经事实上被LLM杀死了。没人搞什么线性回归各种回归、KNN、决策树、贝叶斯,甚至也没人写什么Tensorflow、Pytorch了。

有AI从业者在社交平台提出,大语言模型(LLM)已让传统机器学习和深度学习开发方式“事实上被杀死”,相关技术栈需求骤减。这一论断虽属激进的个人观察,但确实触及了AI开发范式迁移的敏感点。

这看起来不太真实……但微软确实搞出来了!! 一个100B参数的模型,单个CPU就能跑。 不用GPU,不用复杂配置,就是重写了底层的数学实现。 大部分人可能没留意到这个细节 传统的大语言模型用的是16位浮点数,每个权重都是一串小数,比如0.0023、-1.47这种。 推理的时候要做几十亿次浮点乘法运算,这就是为什么非得用GPU不可。 BitNet的做法完全不一样。 它不用浮点数,改用三元权重:{-1, 0, 1}。 这不是压缩,也不是优…

这看起来不太真实……但微软确实搞出来了!! 一个100B参数的模型,单个CPU就能跑。 不用GPU,不用复杂配置,就是重写了底层的数学实现。 大部分人可能没留意到这个细节 传统的大语言模型用的是16位浮点数,每个权重都是一串小数,比如0.0023、-1.47这种。 推理的时候要做几十亿次浮点乘法运算,这就是为什么非得用GPU不可。 BitNet的做法完全不一样。 它不用浮点数,改用三元权重:{-1, 0, 1}。 这不是压缩,也不是优…

微软开源了基于 BitNet 技术的大规模语言模型,用三元权重(-1、0、1)替代传统浮点数,让 100B 参数模型能在普通 CPU 上运行,推理速度和能耗表现显著优于传统方案。

AI热潮催生薪资更高的数据中心岗位

AI热潮催生薪资更高的数据中心岗位

AI 基础设施的扩张正在改写美国就业市场的结构。招聘平台 Indeed 的最新研究显示,数据中心相关的电工、安装工、维护工和工程师已成为增长最快的科技岗位,薪资也比行业外类似职位高出约每小时 10 美元。

CPU 回归:重新思考 LLM 推理中的 CPU-GPU 分工

CPU 回归:重新思考 LLM 推理中的 CPU-GPU 分工

红帽开发者博客发文指出,随着工具调用、多步推理和 Agent 编排成为 AI 负载主流,CPU 在 LLM 推理中的角色正从“调度配角”回归为“计算主角”。英特尔提供的数据显示,CPU 与 GPU 的配比正在从训练时代的 1:8 转向 1:1,甚至某些场景达到 4:1。

生成式AI落地中的现实挑战

生成式AI落地中的现实挑战

生成式AI从技术演示走向生产部署,真正的门槛不是模型能力,而是算力成本、输出稳定性、数据安全与效果评测等现实问题。本次原始素材获取失败,但结合标题所指方向,这些环节正在成为行业关注的焦点。