一句话看懂:alphaXiv 2026年10月公开的一篇论文构建了阿波罗制导计算机(AGC)代码的可执行基准,测试发现给 AI 智能体配上模拟器后,行为题准确率大幅提升。它提醒开发者:判断 AI 是否真读懂了遗留代码,需要能运行代码的验证手段。
事件核心:发生了什么
这项研究把九段比特级一致的阿波罗 11 号 AGC 程序做成可执行评测集,答案只来自原始汇编器和周期级模拟器。研究者选取 27 个合格例程、共 189 条行为题,并预先固定分析方案。在 Claude Sonnet 和 Claude Haiku 上,加入模拟器工具后,Sonnet 的准确率从 81% 升至 100%(+19 点),Haiku 从 48% 升至 97%(+49 点)。
实验还设置了“改一条指令”的扰动版本:没有模拟器时,AI 有 6% 到 17% 的回答沿用了未修改例程的结果;有模拟器后,Sonnet 64 题中为 0,Haiku 为 1。结构化的知识图谱通过 MCP 提供,但没有带来可测量的准确率增益,差值 -4 点,95% 置信区间为 [-22, 15],仅降低了成本。
为什么重要
AI 编程智能体正被用于解释和现代化遗留软件,但模型可能不是“读代码”,而是靠互联网上熟悉的代码片段作答。AGC 恰好是天然实验:阿波罗 11 号代码被广泛讨论,却使用罕见的 15 位反码汇编语言。该基准的价值在于把“理解”拆成可执行验证,并暴露重写风险:通过抽样测试的 Python 重写在全部 32,768 种输入上仍非完全正确,每个设置下 9 个重写最多只有 4 个完全正确。
对用户/开发者/创作者的影响
对开发者而言,在遗留代码迁移任务中,仅靠粘贴源码让大模型回答并不可靠,接入模拟器或运行环境做交叉验证更重要。对企业采购和工具选型来说,评测维度应从“答案看起来对不对”转向“能否实际执行验证”。不过需注意,模拟器让智能体直接运行被问到的例程,这只能说明它们会用执行来核对答案,不能证明它们真正理解代码语义。
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
值得关注的后续
一是论文承诺公开基准、工具、提示词和全部原始输出,后续可关注数据与代码是否完整落地;二是模拟器能力能否推广到更多遗留语言和工作流;三是知识图谱在成本端的价值是否被更多 MCP 类工具验证。目前公开信息仅来自摘要,实验结论限于该基准、两个 Claude 模型及规定的评测条件。
来源:alphaXiv


