一句话看懂：Tiny Corp 推出售价 3 万美元的 tinybox Red Kimi 工作站，用四块 AMD Radeon AI Pro R9700 显卡（共 128GB 显存）和 16 块 1TB NVMe SSD 组成的阵列，目标是在桌面运行 Moonshot 的 2.8 万亿参数 Kimi K3 模型。官方宣称可达 40 tokens/s，但这一数字缺乏独立验证。
事件核心：发生了什么
这台机器基于 Tiny Corp 的 G5 平台，搭载 32 核 AMD EPYC Genoa 处理器和 32GB DDR5 内存，显卡部分为四块 R9700，每块 32GB GDDR6、带宽 640GB/s。独特之处在于 Tiny 的 tinygrad 软件新增驱动，让 GPU 直接读取 16 块 SSD 组成的 RAID 阵列（标称 238.4GB/s），绕过 CPU 转发。由于 Kimi K3 的 MXFP4 权重约 1.56TB，128GB 显存只能容纳不到 10%，其余权重必须依赖 SSD 存储。Tiny Corp 在 X 上称其实现了“在家庭环境以可用速度运行前沿模型”。
为什么重要
大模型本地推理长期受限于显存容量，2.8 万亿参数的 MoE 模型通常需要数据中心级集群。Tiny 的思路是把 SSD 当作加速器内存的延伸层，类似 Nvidia 与伊利诺伊大学在 BaM 架构中提出的 GPU 直接访问存储。如果可行，意味着高端工作站也能承载超大规模开源模型的推理，这会改变小团队和研究者获取算力的方式，也会对 Nvidia 的高端推理硬件路线形成一定压力。
对用户/开发者/创作者的影响
对开发者而言，这台机器提供了一个在本地运行 Kimi K3 的选项，但 40 tokens/s 的官方数字需要谨慎看待。按素材计算，K3 每生成一个 token 至少需读取约 55GB 权重；若全部走 SSD，仅约 4 tokens/s；达到 40 tokens/s 意味着约 2.2TB/s 的权重吞吐，接近四卡总带宽的 86%，这要求大部分专家权重已缓存在 128GB 显存中。Tiny Corp 未公开精度、上下文长度、批大小和具体实现方法，因此目前只能视为厂商声明。对预算有限的个人创作者，3 万美元仍远高于主流工作站；对需要合规私有化部署的团队，它提供了一种介于消费级设备和数据中心之间的选择。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是第三方能否复现 40 tokens/s 的实测结果，以及它在长上下文、不同批大小下的表现；二是 Tiny Corp 是否公开缓存策略、量化精度和推测解码等细节；三是竞品动态，Apple Mac Studio M5 Ultra 顶配约 29,799 美元、提供 512GB 统一内存，Nvidia GB300 版 DGX Station 售价近 9.1 万美元，三者定位重叠度值得观察。
来源：TechRadar
