开源项目 smolmaxxing 让小米电视盒子与 2013 款 iPad Air 本地跑大模型

一句话看懂：一个名为 smolmaxxing 的开源项目在小米电视盒子 S（第三代）和 2013 年款 iPad Air 上实测运行语言模型，8B 至 16B 参数模型分别跑到 5-7 tok/s 和 2.6-4.5 tok/s，展示了老旧低配硬件通过内核优化与权重流式加载运行大模型的可行区间。

事件核心：发生了什么

该项目于 2026 年 11 月发布在 GitHub 并在 Hacker News 引发讨论。作者没有沿用“云端推理”路线，而是选择两种典型闲置设备：小米电视盒子 S（第三代，Amlogic S7D，4 核 Cortex-A55，1.9 GB 内存约 1 GB 可用，Android 14 未 root），以及第一代 iPad Air（2013 年，Apple A7 双核，1 GB 内存，iOS 12.5.7，越狱后仅用 CPU）。

电视盒子上，Qwen3.5-0.8B 从初始的 7.5 tok/s 提升到 16.8 tok/s；8B 混合专家模型 Moon-Beam-8B-A1B 实测 7.2 tok/s，16B 的 Ling-mini-2.0 达到 5.1 tok/s。iPad Air 上，1.7B 的 1-bit 量化模型 Bonsai-1.7B 跑出 24-26 tok/s，16B MoE 模型为 2.6-4.5 tok/s。作者在 EXPERIMENT.md 中记录了 E1-E160 实验，并强调所有数字均在设备上实测，受环境温度与时间波动影响，电视盒子全天速度漂移约 10%。

为什么重要

它说明大模型推理并非只能依赖 GPU 集群或高配 PC。通过 Q2_K/三值权重重排、1-bit 查找表内核、混合专家按需分页、权重流式加载等手段，内存只有约 1 GB 的设备也能跑起参数规模远超内存的模型。这对边缘计算、离线隐私场景和低成本 AI 应用有直接参考价值，也再次提示“模型大小”和“每字节效果”并不是一回事：该项目测得 16B 的 Ling-mini-2.0 比 8B 的 Moon-Beam 更慢且每字节得分更低。

对用户/开发者/创作者的影响

对开发者，这些优化思路——尤其是 CPU 内核适配 NEON、专家分页与预取、量化查找表——可复用到 ARM 单板电脑、旧手机和路由器等设备上。对普通用户，短期内不必指望电视盒子变成通用聊天终端，项目本身是实验仓库而非成品 App。对创作者和边缘 AI 产品团队，它提供了一个衡量“最低可用硬件”的实测基准，但需注意这些数字来自特定设备、特定时段和特定模型，不能视为永久性能排名。