arXiv论文提出RealtimeBench:LLM代理实时评测与TORSI双时间尺度学习

arXiv 新论文提出 RealtimeBench,在游戏持续运行中评测 LLM 代理,并给出 TORSI 方法让慢速教师指导快速学生,使代理在实时环境中更有效。

一句话看懂:arXiv 新论文提出 RealtimeBench,在游戏持续运行中评测 LLM 代理,并给出 TORSI 方法让慢速教师指导快速学生,使代理在实时环境中更有效。

事件核心:发生了什么

2026 年 10 月 16 日提交至 arXiv cs.AI 的一篇论文,针对大语言模型代理在动态环境中“动作可能迟到”的问题,提出了 RealtimeBench 评测基准和 TORSI 训练方法。RealtimeBench 包含 180 个任务、覆盖六种游戏类型,关键设计是游戏在模型推理期间不暂停。论文摘要显示,配对评测中 GPT-6.1-sol 在暂停游戏时优于更快的 Jev,但在游戏持续运行时落后于 Jev。作者提出的 TORSI 让慢速教师在不尝试时研究失败、在暂停游戏中验证修正,并写出可复用指令给快速学生;学生在游戏过程中直接行动,不调用教师。摘要称,两轮迭代将 Jev 的平均测试分从 13.51 提升到 24.19(0–100 进度分),六类游戏均有改善,且指令无需重新调参即可提升另外三个模型的平均分。目前公开信息仅为论文摘要,全文实验与同行评审状态尚未确认。

为什么重要

当前多数代理评测仍假设环境在模型思考时静止,但真实世界——从 API 调用、自动化交易到机器人控制——并不会停下来等推理完成。RealtimeBench 把“推理耗时”纳入评测变量,可能推动行业重新审视模型延迟与任务成功率之间的权衡。TORSI 的思路是把慢速深思与快速反应解耦,用离线学习沉淀可复用指令,减少实时运行时的大模型调用,这对算力成本和响应速度都有实际意义。如果后续工作能验证其泛化性,这类跨时间尺度的训练框架可能影响代理产品的架构设计,尤其是需要持续交互的 AI 应用。

对用户/开发者/创作者的影响

对开发者而言,RealtimeBench 提供了一套可参考的评测思路:如果正在构建游戏 AI、自动化客服、实时决策工具,需要关注“推理延迟”对任务完成度的实际影响,而非只看静态准确率。TORSI 式的“慢教师—快学生”结构,理论上可以降低线上推理开销,让端侧或低算力场景也能部署响应更快的代理,但前提是教师指令质量足够高、验证机制可靠。对创作者和企业采购来说,论文摘要未涉及 API 价格、开源协议或产品化计划,目前不应将其视为可直接使用的工具。如果该方法后续被集成到闭源模型或开源框架中,可能影响代理类产品的选型标准——延迟与持续运行能力或成为新的采购考量。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是论文全文是否公开完整的实验设置、基线对比和复现细节,特别是 RealtimeBench 的任务设计是否会被社区采纳为标准评测。二是 TORSI 生成的指令能否跨模型、跨任务稳定迁移,摘要中“三个其他模型无需调参即提升”的说法需要更多独立验证。三是是否有公司或开源项目将这类实时评测与训练方法产品化,以及它是否会改变现有代理框架对推理延迟的处理方式。

来源:arXiv cs.AI

celebrityanime
celebrityanime
文章: 29290

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注