arXiv论文研究游戏内持续预训练:27B模型跨虚拟世界迁移效果有限

一篇 arXiv 新论文用 120 组训练配置,系统测试了具身智能体在多个虚拟世界中进行持续预训练(CPT)的效果,发现数据量、多样性与模型规模各有取舍,单靠 CPT 难以让模型泛化到差异很大的新世界。

一句话看懂:一篇 arXiv 新论文用 120 组训练配置,系统测试了具身智能体在多个虚拟世界中进行持续预训练(CPT)的效果,发现数据量、多样性与模型规模各有取舍,单靠 CPT 难以让模型泛化到差异很大的新世界。

事件核心:发生了什么

据 arXiv cs.AI 2026 年 10 月 22 日发布的新论文摘要,研究团队在 0.8B 到 27B 的四种模型规模、50 到 1600 小时的六档数据预算、以及从纯《Minecraft》到多世界混合的五种数据配比之间,做了受控的持续预训练实验,并用三级验证损失和从训练内世界到未见世界的游戏基准评估表现。

摘要给出的结论有三点:数据越多,训练内表现越好;数据多样性有助于迁移到相关世界,但对差异较大的世界提升有限;模型越大数据效率越高,不过在单一世界训练下对远距离世界的泛化反而更差。研究还观察到早期存在跨世界受益较广的“接口阶段”,后期收益收窄到训练内和相关世界,并拟合出一个把验证损失与数据量、多样性、模型规模关联起来的经验缩放律。

为什么重要

物理环境中的具身学习之所以能靠数据和算力扩展,是因为不同场景共享同一套物理规律;虚拟世界则在视觉风格、动力学、操作方式和目标上各不相同,这正是检验“扩展是否普遍有效”的好切口。这项研究的意义在于,它把游戏数据、模型规模和多样性放在同一框架下量化,给具身智能和大模型训练路线提供了一个可对照的参照系。

更关键的信号是“天花板”:摘要明确表示,模仿学习的局限和远距离世界上的持续差距,说明要构建通用具身智能体,需要比持续预训练更丰富的训练阶段。这会让行业重新审视“堆数据、堆参数就能通用”的假设。

对用户/开发者/创作者的影响

对研究人员和开发者,这套 120 组配置的缩放规律可作为选择数据配比和模型规模的参考,尤其要留意“单世界训练越大越难迁移”的提示;在实时 3D 场景中,摘要称模型表现最好,并与《Minecraft》专精模型和前沿模型具有竞争力,这为游戏 AI 应用提供了方向。对内容创作者和工具用户,目前公开信息仅是论文摘要级别,尚无可直接调用的产品或 API,不宜据此判断某款游戏 AI 已落地。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是论文全文是否公开更细的实验设置与复现条件;二是研究提出的“更丰富训练阶段”具体指什么,是否会引出新的训练范式;三是该缩放律能否在更多虚拟世界和真实机器人任务中验证。以上判断均基于摘要,未经同行评审确认。

来源:arXiv cs.AI

celebrityanime
celebrityanime
文章: 29656

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注