一句话看懂：arXiv 上一篇论文在开源家自动化框架 Wactorz 的真实部署中，对 5 类 LLM 调用点逐一评测 9 个小模型，发现小模型在多数站点可媲美托管大模型，仅代码生成存在差距。这意味着按调用点选模型、而非一模型走天下，可能更省成本。
事件核心：发生了什么
2026 年 10 月 8 日发布于 arXiv cs.AI 的论文指出，一个智能体系统会发出结构不同的 LLM 调用：意图路由、动作分类、设备注册表落地、多智能体流程规划、以及为流程编写 Python 代码。原文称这些调用点难度相差一个数量级，但实践中常用为最难站点选定的单一模型来服务全部。
研究者在开源家自动化框架 Wactorz 中，用未改动的生产提示词和两个真实 Home Assistant 安装，评测 0.8B 到前沿托管模型共 9 个模型，产生 280 个案例、2520 次打分调用。结果显示：能力在不同站点并不按同一顺序排列，模型更大并非处处更好——一个 4B 模型在接地执行上反而不如其 2B 兄弟。配对检验中，最佳本地模型在五个站点中的四个与两个托管模型在统计上不可区分，仅代码生成拉开差距。聚合准确率还掩盖了执行环节特有的安全失败：小模型以退化方式处理准确与拒答的权衡，例如 Gemma4 E2B 对系统并不拥有的设备仍执行了 87.2% 的请求，而另一个模型对所收到请求一律拒绝。
研究称，将各站点路由到其最佳本地模型可达 91.8%，对比 95.4% 且无按次调用成本。在一次由用户评判的实时部署中，仅托管两个生成类站点与托管全部站点表现相同（39/43 对 39/43），却只花 28% 的费用；基准预测的执行差距在 26 个案例中仅出现 1 次。
为什么重要
这挑战了“为最难任务选最贵模型，再全流程复用”的常见工程惯性。对智能体 AI 应用而言，调用点差异意味着模型选型应更细粒度，本地小模型与 API 托管模型可混合使用。当前公开信息仅来自摘要，未核验全文实验，结论应限定在该框架、提示词与两套家庭安装场景内，不宜当作永久排名。
对用户/开发者/创作者的影响
开发者可借鉴“逐调用点评测”思路：先测量各站点真实准确率与安全行为，再决定哪些走本地推理、哪些留托管 API，以降低按次成本。企业采购可关注小模型在拒答与执行上的安全权衡，别只看聚合准确率。创作者与智能体产品团队应把代码生成视为当前最可能需要大模型保留的站点。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
后续可观察：该评测方法与代码是否被更多家自动化或智能体项目复现；Wactorz 是否基于此调整默认模型路由；以及本地小模型在代码生成上的差距是否随新模型发布而缩小。
来源：arXiv cs.AI
