一句话看懂：一位开发者用自己的 2021 款 M1 Pro 16GB 笔记本实测了五款主流开源小模型，发现这一代模型确实比一年前聪明不少，但“先思考后回答”的推理机制让本地运行慢到需要一两个小时，算力门槛比网上讨论的残酷得多。
事件核心：发生了什么
这篇在 Hacker News 热榜获得大量讨论的实测文章，来自开发者 mamonas.dev。作者用一台 2021 年的 M1 Pro MacBook Pro（16GB 内存）跑了 21 道数据工程师常见题目，涵盖 DuckDB SQL 编写、Python 缺陷修复、从混乱文本提取 JSON、代码输出预测、常识问答和长文档事实查找，全程用代码自动判分。
测试了五个通过 Ollama 拉取的模型：阿里的 qwen3.5:4b/9b、谷歌的 gemma4:e4b-it-qat/12b-it-qat，以及作为 2024 基线的 qwen2.5:7b。结果如下：gemma4 12B 通过率 90%（38/42），总耗时 123 分钟；gemma4 e4b 通过率 86%，仅用 18 分钟；qwen3.5:9b 通过率 81%，耗时 114 分钟；qwen3.5:4b 通过率 62%，耗时 125 分钟；老将 qwen2.5:7b 通过率仅 52%，但只花了 3 分钟。
作者还发现，网上热门的小模型如 glm-4.7-flash、qwen3-coder 下载体积都约 19GB，Qwen3.8-27B 需要约 17GB 且权重尚未放出，16GB 内存机器实际能跑的模型列表远短于社区讨论给人的印象。
为什么重要
这项测试揭示了本地大模型叙事中一个被刻意忽略的维度：准确率与推理时长之间的严重倒挂。新模型的能力提升是真实的——gemma4 12B 能正确修复 6/6 的 bug，SQL 题 10 题答对 8 题，而 2024 年的 qwen2.5 在 Python 输出预测上全军覆没。但代价同样真实：qwen3.5 系列在 48/84 次运行中撞上 3,072 token 的生成上限，全部预算耗尽在“思考”上，连答案都没给出；即使把上限加倍到 8,192 token，也有单题狂写 34,000 字符推理仍失败的案例。
这意味着“开源模型已经很能打，本地跑起来就行”的建议，在 16GB 内存这个更接近普通开发者的硬件条件下，只对了一半。能力确实下放了，但推理 token 的算力成本并没有消失，只是从云端 API 账单转移成了用户等待的墙钟时间。对推理成本的讨论，需要区分“每 token 成本”和“总等待时间”两个维度。
对用户/开发者/创作者的影响
对普通开发者而言，如果你只有 16GB 内存的笔记本，想本地跑通一个有实际生产力的模型，最优解不是参数最大的那个，而是速度与准确率平衡最好的那个——本次测试中的 gemma4:e4b-it-qat（6.1GB，86% 通过率，18 分钟跑完全套）是明显赢家。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
如果你是 API 调用方，这个测试也给了个提醒：当前模型默认开启思考模式，同样的任务在 API 上会产生大量额外计费的推理 token，成本结构和小模型的“免费/低价”宣传并不一致。
对创作者和内容工作者来说，本地模型做快速事实查询的体验仍受限于启动与推理速度，作者也只在文章末尾抛出一个未完成的问题：本地模型到底能不能替代搜索引擎？这个问题的答案，在普通笔记本上目前仍不乐观。
值得关注的后续
第一，Qwen3.8-27B 的权重很快会放出，届时 16GB 内存机器能否通过量化或 offload 跑起来，是判断“2026 年本地 LLM 门槛”的关键样本。第二，谷歌的 Gemma 4 系列在量化感知训练上表现得领先于同行，如果这种小体积、高准确率、低推理 token 消耗的路线被更多厂商效仿，本地推理的实用性会显著提升。第三，Ollama 等工具能否引入更智能的推理预算控制，避免模型在单个问题上浪费数万 token，也将直接决定本地 LLM 能否从“跑分玩具”变成日常生产力工具。
