一句话看懂:一篇技术文章对比了 RTX 5090 与 AMD Ryzen AI Max+ 395 迷你电脑运行本地大模型的差异,结论是:显存装不下大模型时,统一内存的迷你电脑反而可能更实用,但受带宽和算力限制。
事件核心:发生了什么
2026 年 11 月 10 日,技术社区作者 RockByte 在掘金发布分析,对比两种本地 AI 硬件方案:售价约 3 万元、带 32GB 显存的 RTX 5090,以及售价约 2 万元、配 128GB 统一内存的 AMD Ryzen AI Max+ 395(Strix Halo)迷你电脑。RTX 5090 的 FP32 算力为 104.8 TFLOPS,显存带宽 1792GB/s;AMD 方案为 14.8 TFLOPS、256GB/s。以 70B 参数、4 位量化模型为例,权重约需 35GB,超出 5090 的 32GB 显存,而 128GB 统一内存可以装下。
为什么重要
本地大模型推理的瓶颈不只有算力,还有显存容量、内存带宽和参数激活方式。独立显卡胜在带宽高、算力强,但显存装不下模型时会退到系统内存,速度下降。从苹果 M 系列到 AMD Strix Halo、NVIDIA DGX Spark,统一内存架构正在成为本地推理的一条路线。文章还指出,MoE 架构让模型每次生成 Token 只激活部分参数,比如 Qwen3-30B-A3B 每次约激活 3.3B 参数,这降低了大模型对内存容量的硬性要求。
对用户/开发者/创作者的影响
对想搭建本地 AI 环境的用户来说,选硬件不能只看显卡价格和 TFLOPS。需要运行中等规模稠密模型时,RTX 5090 的高带宽有优势;需要装下更大权重时,统一内存迷你电脑更灵活,但生成速度和提示词处理会明显变慢。文章提到,AMD 方案跑 70B 模型实测每秒约处理 95 个输入 Token,贴入 4000 Token 文档仅读取就需 40 多秒。对运行 DeepSeek V4.1 Flash 这类 MoE 模型,文章按 16B 激活参数和 4 位量化估算,5090 理论上每秒可读约 224 次,AMD 约 32 次。需要说明,以上为作者基于带宽的估算,并非统一基准下的实测排名。
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
值得关注的后续
一是统一内存机型在实际推理框架中的调度效率是否改善;二是更多 MoE 开源模型能否降低本地部署门槛;三是显存与内存成本变化,是否会让高带宽内存进一步影响本地 AI 硬件选择。
来源:juejin


