一句话看懂：arXiv 2026 年 10 月 15 日收录的一篇新论文提出 ScreenRef 数据集与 D2RL 训练方法，训练出 GroundGUI-8B，在多个 GUI 定位基准上报告了 8B 量级中的竞争力成绩，为 GUI 智能体提供了一条开源数据加蒸馏强化学习的路线。
事件核心：发生了什么
根据论文摘要，研究者指出现有桌面、网页和移动端基准虽多，但高质量 GUI 定位资源仍然稀缺。为此他们构建了 Screen Referring Grounding Dataset（ScreenRef），包含 58.6 万张截图和超过 63.3 万条指代表达实例，标注形式包括框和点，覆盖文本识别、视觉匹配、空间理解以及拒绝场景。基于该数据集，团队提出 Distillation-to-Reinforcement Learning（D2RL）方法，先做监督微调再做强化学习，以缓解 SFT 泛化不足和强化学习奖励稀疏的问题。他们用这一流程训练 Qwen3-VL-8B-Instruct，得到 GroundGUI-8B，代码、模型和数据集已在 GitHub 公开。
为什么重要
GUI 定位是 AI 智能体能否真正操作电脑和手机的关键能力：把“点这个按钮”映射到屏幕上的具体坐标。目前公开信息显示，高保真数据集中文社区仍然稀缺，闭源模型虽有优势但不透明。GroundGUI 的价值在于把数据、训练方法和模型放在同一条开源链路上，且专门针对 8B 规模做了优化，这对算力有限但想自建 GUI 智能体的团队有直接参考意义。如果 D2RL 的路线可复现，它可能成为小模型补齐多模态定位能力的通用配方。
对用户/开发者/创作者的影响
对开发者来说，ScreenRef 的 58.6 万截图和 63.3 万条表达可以用于微调或评测自己的多模态模型，微软、谷歌等闭源 API 之外的本地化方案多了一个选择。对做 RPA、自动化测试、无障碍工具和 AI 手机助手的团队，GroundGUI-8B 这类模型若推理成本可控，可以嵌入端侧或私有环境。对普通用户，短期内不会直接带来产品变化，但更准确的 GUI 理解意味着未来的 Agent 产品能更可靠地完成点按、填表、跨应用操作等任务。目前公开信息仍来自论文摘要，实际部署效果待验证。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是 GroundGUI-8B 的权重和训练代码是否真正可复现，社区能否在自有数据上跑通 D2RL；二是 ScreenRef 的数据来源和授权是否清晰，能否被商业项目安全使用；三是 8B 模型能否扩展到更大参数或端侧量化，以及后续是否会出现基于它的 GUI Agent 产品。
来源：arXiv cs.AI
