一句话看懂：在 Hacker News 引发讨论的一篇工程笔记中，有 25 年经验的洛杉矶工程师 Dan 提出：把大模型真正部署给消费者使用时，prompt 的重要性被高估了，真正决定 agent 可靠性的，是对失败率的持续测量与约束。
事件核心：发生了什么
作者 Dan 在 evaluation.club 发文，分享自己用大模型做生产级 agent 的经验。他强调自己做的不是主观输出的聊天机器人，而是代表用户执行任务的 agent。在实际部署中他发现，即便是最聪明的模型，也会在小比例请求上“失控”：要求返回 80 字符以内的标题，多数时候正常，偶尔却会灌入大量重复的 JSON 自我提醒直到字段爆掉。他最近一次遇到该问题，解决方案竟是把字段名从 “title” 改成 “heading”——这种“完全不讲道理”的修复方式，恰恰说明模型行为难以稳定预测。
他的结论包括：prompt 并不像很多人以为的那样重要；约束行为必须靠测量，业界常用做法是 pass^k（重复运行测试观察成功率）；以及一个 agent 要真正可用，需要处理用户冒充权威、追问实现细节、品牌语气等具体约束。
为什么重要
当下大量 AI 应用和 agent 产品正处于从 demo 走向生产的关键阶段。Dan 的观察指向一个行业现实：模型能力的提升并没有自动解决可靠性问题，失败率哪怕只有个位数百分比，放到真实用户规模上也会变成持续的运营风险。这意味着竞争重点可能从“谁的模型更强”转向“谁的约束与评测体系更扎实”。对闭源 API 和开源模型的使用者而言，prompt 工程的神话正在被更工程化的评测流程取代。
对用户/开发者/创作者的影响
开发者需要把 agent 当作不可靠组件来设计：用结构化输出、重试、字段容错和 pass^k 类测试来兜底，而不是指望一句精心雕琢的 prompt 解决所有问题。企业采购和产品团队在评估 AI 应用时，应要求供应商给出真实场景下的失败率数据，而非只看演示效果。内容创作者和普通用户则会感受到 agent 偶尔“发疯”的体验，短期内完全消除并不现实，合理预期是降低发生频率而非归零。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是 pass^k 这类评测方法是否会成为 agent 产品的标准配置；二是模型厂商是否会在结构化输出和工具调用上提供更硬的可靠性保证；三是当 prompt 的重要性下降后，围绕 agent 评测、监控与约束的工具链是否会快速形成新的开发者生态。
来源：Hacker News
