Tomer Tunguz 谈 AI 优化 if-then 判断:专用决策器把分类成本降近百倍

风险投资人 Tomer Tunguz 观察到,一类专用"if-then 判断器"正在替代大模型处理简单分类任务,在他的实测中把成本降低约百倍、准确率反而从 47% 升到 80% 以上,这意味着 AI 推理可能正在分化为"探索用大模型、生产用小模型"的两套经济体系。

一句话看懂:风险投资人 Tomer Tunguz 观察到,一类专用”if-then 判断器”正在替代大模型处理简单分类任务,在他的实测中把成本降低约百倍、准确率反而从 47% 升到 80% 以上,这意味着 AI 推理可能正在分化为”探索用大模型、生产用小模型”的两套经济体系。

事件核心:发生了什么

博客作者 Tomer Tunguz 以杂货店理货规则作比喻:香蕉归果蔬区、饼干归零食区、孜然归调料区,但一旦出现大蕉、迪拜巧克力这类模糊品类,规则就需要 AI 来兜底。问题在于,处理”if 大蕉 then 果蔬区”这种逻辑并不需要最顶尖的大模型。

目前公开信息显示,两款专用决策器 Jev(TypeSafe 出品,2026 年 9 月 15 日发布)和开源项目 SemIf(Theodore Lee 发布,MIT 许可,9 月 18 日)能在数百毫秒内返回带类型的判定结果。它们把注意力计算只跑一遍,直接从输出 logits 中评估候选答案,跳过多层前馈网络和逐 token 解码。成本上,Jev 定价为每百万输入 token 0.042 美元、输出不计费,按典型分类调用(2000 输入 + 60 输出 token)计算,比 Sonnet 级模型便宜约 82 倍;TypeSafe 自己的评测显示单案例成本从 0.0304 美元降至 0.0004 美元。在 98 条人工核验的生产邮件线程上,生成式大模型分类准确率为 47%,Jev 为 80%,本地 SemIf 为 82%。

为什么重要

这指向 AI 推理成本结构的一个关键变化:if-then 判断是软件的基本原语,把它专门的代价是”窄”,收益却是数量级的成本下降和更高的准确率。对行业而言,这可能强化”双轨制”——用前沿大模型做探索、训练新模型和架构设计,用优化后的窄模型承担生产环境的反复调用。如果更多编程原语被同样专门化,像 harness 这类封装层有机会捕获更多毛利。

对用户/开发者/创作者的影响

对开发者最直接:agent 工作流里那些”是不是垃圾邮件””归类到哪个标签”的判断调用,可以考虑换成专用决策器,同时降低 token 账单和延迟。对做 AI 应用的团队,评估重点应从”哪个模型最强”转向”这个环节需不需要最强模型”。对企业采购,混合架构(本地小模型处理高频判断、前沿模型兜底)可能比单一 API 更划算。对内容创作者和普通用户,短期内感知不明显,但产品背后的推理成本下降,最终会体现在定价和响应速度上。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是 Jev 的补贴价格能否持续,TypeSafe 称当前定价”可能被补贴”;二是 SemIf 等开源实现能否在更多硬件和模型上复现 80% 以上的准确率;三是是否会有更多编程原语(如循环条件、路由匹配)出现同类专门化产品,以及主流大模型厂商会不会自己推出低价分类接口来防守这一市场。

来源:Tomer Tunguz 博客(VC 分析)

celebrityanime
celebrityanime
文章: 24836

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注