Garry Tan:把重复LLM调用换成确定性代码,成本可降约90%

Y Combinator 总裁 Garry Tan 在 X 上表示,把重复性的 LLM 调用替换为确定性代码是“理所当然”的做法,还能让代码更符合用户预期。他引用的开发者案例显示,在合规告警这类重复任务上,成本从超过 29 万美元降到不足 2.6 万美元。

一句话看懂:Y Combinator 总裁 Garry Tan 在 X 上表示,把重复性的 LLM 调用替换为确定性代码是“理所当然”的做法,还能让代码更符合用户预期。他引用的开发者案例显示,在合规告警这类重复任务上,成本从超过 29 万美元降到不足 2.6 万美元。

事件核心:发生了什么

2026 年 10 月 11 日,Garry Tan 在 X 上发帖称,用确定性代码替代 LLM 调用是“no brainer”(不需要犹豫的选择),并且这样写出来的代码质量更好、更贴近用户真正想要的结果。他同时转引了开发者 AJ Asver 在 9 月 21 日分享的案例:团队基于 typesafeai 的 Jev 构建了一套新的执行框架(harness),让重复性工作随着运行逐步从 LLM 调用迁移到代码,成本下降约 90%。

具体数据是:在 Opus 5 上运行 10 万条合规告警,成本超过 29 万美元;改用 agentrun() 之后,降到不足 2.6 万美元。目前公开信息显示,这一数据来自该开发者的单点实践,并非大规模基准测试或官方产品公告。

为什么重要

这条讨论触及 AI 应用成本结构的核心矛盾:大模型擅长处理开放、模糊、需要理解的任务,但在固定规则、重复流程上,每次都调用 LLM 既贵又不稳定。Agents 和 AI 应用真正跑起来之后,很多团队会发现账单主要来自那些本可以用普通函数、规则引擎或缓存解决的问题。

把可确定的部分固化下来、只在必要环节调用模型,本质上是一种工程分层:LLM 负责推理和泛化,确定性代码负责可靠和高吞吐。这对当前围绕推理成本、Agent 架构和 AI 商业化的讨论有直接参考价值,也可能影响企业采购 AI 能力时对单位任务成本的评估方式。

对用户/开发者/创作者的影响

对开发者来说,这意味着设计 AI 应用时要多问一句:这个步骤是否真的需要模型?如果任务是分类、抽取、路由、模板化生成或规则校验,先考虑用代码实现,模型只处理兜底和例外。这样不仅省钱,还能减少幻觉和响应延迟。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

对使用 AI 工具的企业和创作者来说,更低的推理成本可能让原本因价格被搁置的场景变得可行,例如大批量内容审核、合规告警、数据清洗。但要注意,案例中的成本下降依赖于特定任务和特定框架,不同业务的可迁移程度并不相同。

值得关注的后续

一是 Jev 和 agentrun() 是否会有更详细的技术说明或可复现的评测,让外界判断这套 harness 的适用范围。二是类似的“LLM 调用转确定性代码”模式会不会被更多 Agent 框架和 AI 应用采纳,形成默认设计习惯。三是当重复任务被剥离后,模型厂商在推理侧的用量结构是否会受到可见影响。

来源:Follow Builders · X · Garry Tan

celebrityanime
celebrityanime
文章: 28926

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注