小公司抢了 AMD 的风头,用老式 PCIe AI 加速器挑战 Nvidia,该加速器在本地运行 700B LLM,由于采用了十年前的 DDR4 和 28nm 芯片,功耗仅为 240W

小公司抢了 AMD 的风头,用老式 PCIe AI 加速器挑战 Nvidia,该加速器在本地运行 700B LLM,由于采用了十年前的 DDR4 和 28nm 芯片,功耗仅为 240W

小公司抢了 AMD 的风头,用老式 PCIe AI 加速器挑战 Nvidia,该加速器在本地运行 700B LLM,由于采用了十年前的 DDR4 和 28nm 芯片,功耗仅为 240W

一句话看懂:台湾公司 Skymizer 发布了一款名为 HTX301 的 PCIe AI 加速卡,采用 28nm 工艺和 LPDDR4/LPDDR5 内存,却能在单卡 240W 功耗下运行高达 700B 参数的大模型。这挑战了 AMD 和 Nvidia 的高端 GPU 方案,主要面向本地推理和隐私敏感的企业应用。

事件核心:发生了什么

据 TechRadar 报道,Skymizer 在 Computex 前夕推出了基于 HyperThought 平台的 HTX301 加速卡。该卡不是传统 GPU,而是专用的 LPU(语言处理单元)IP。单卡集成 6 颗 HTX301 芯片,总内存达 384GB(使用 DDR4/DDR5),功耗控制在 240W 以内。Skymizer 声称其能在 0.5 TOPS 算力和 100 GB/s 带宽下,实现 30 tokens/s 以上的推理速度,对开源 llama.cpp 有 9% 到 17.8% 的性能优势。公司宣称,超大规模 GPU 集群不再是运行巨型 LLM 的必要条件。

为什么重要

这一消息直接动摇了当前 AI 推理必须依赖昂贵 HBM 内存和高功耗 GPU 的预设。AMD 最新 Instinct MI350P 功耗是数倍,Nvidia RTX PRO 6000 功耗约 600W。Skymizer 用成熟且廉价的 28nm 工艺和 DDR 内存,极大降低了企业本地部署大模型的硬件门槛与数据中心改造成本。如果数据属实,这将开辟一条“低功耗、高内存、低带宽”的专用推理路线,挑战现有以训练为导向的 GPU 垄断。但需注意:成果尚待 Computex 实际演示验证。

对用户/开发者/创作者的影响

    企业采购与 IT 架构师:无需改造机房的电力与散热系统,标准风冷服务器即可部署,本地运行 700B 模型意味着数据主权可控、成本可预测。适合医疗、金融、法律等隐私敏感行业。

    AI 应用开发者:推理卡可直接插入现有服务器,支持 agentic AI(编码、自动化、领域工作流),无需依赖云 API。预计其 SDK 将兼容主流推理框架,但生态成熟度未知。

    普通用户与创作者:短期内影响有限,除非 Skymizer 推出消费级产品。目前仍属企业场景。

值得关注的后续

第一,HTX301 将于今年 Computex 公开预览并接受独立测试,需关注实际推理延迟、模型兼容性及稳定性是否达到宣称值。第二,如果产品成功商业化,可能推动 AMD、Nvidia 加速推出更低功耗的 PCIe 推理卡,或导致专用推理芯片市场爆发。第三,Skymizer 作为小公司,供应链交付能力和软件生态(如支持的模型格式、自动并行度扩展)是决定成败的关键变量。

来源:TechRadar

celebrityanime
celebrityanime
文章: 2656

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注