开发者实测质疑AI自主研发能力：模型判断力仍是短板

一句话看懂：2026年11月6日，一篇在 LessWrong 发布的讨论指出，作者在实际项目与黑客松评审中观察到大模型在自主研发任务上的判断力依然薄弱，但在反馈周期短、可反复迭代的爬坡类任务上仍能带来明显提升。

事件核心：发生了什么

发帖者 Arjun Panickssery 在 LessWrong 上记录了自己对多个副项目的观察，核心结论是：从直觉和实际体验来看，他很难相信当前的自主研发能力已经足够巧妙。在评审一场黑客松的八篇论文时，这些论文在 Pangram 上的得分介于 60% 到 95% 之间，但彼此高度相似，方法论上存在模糊但一致的缺陷，往往遗漏最直接的分析路径。

他同时提到一个例外：在反馈回路快的任务上，通过反复提示模型“更努力”“瞄准某个具体性能水平”“系统性地尝试文献中相关方法”，曾把“列出所有合法拼字游戏走法”的 SOTA 提升约 10 倍。但两次关键跃迁仍来自他本人给出的方向性提示。此外，Astra 和 Claude 生成的报告往往难以读懂，需要额外问答才能弄清实际做了什么；评论区有用户称 Opus 5.5 在清晰写作上明显优于 Astra 6。

为什么重要

这条讨论的价值不在某个具体产品发布，而在于给“AI 自主研发”叙事提供了一个来自实测视角的反例。它提示：模型在开放式研究判断、方法论设计上仍依赖人类引导，短反馈的优化任务则更容易被自动化的反复尝试放大。对正在评估用大模型承担研究或工程自动化任务的团队来说，这意味着需要区分“可验证、快反馈”与“开放式、慢反馈”两类任务，不能一概而论。

对用户/开发者/创作者的影响

开发者若用模型做代码优化、算法调参等有明确指标和快速验证的任务，可以借助多轮提示获得收益，但应保留人工设定方向和验收标准。研究者与内容创作者在依赖模型生成报告或分析时，需预留复核成本，因为输出可能结构完整却难以理解、遗漏关键结论。企业采购层面，目前公开信息显示这只是个人观察，尚不构成对任何模型能力的系统评测，选型时仍应基于自身任务做小规模验证。