I gave codex a video-enabled remote KVM so it can automate e2e test the iMessage-integration on OpenClaw. (iMessage is unreliable in VMs, and certain features such as read receipts require SIP to be disabled)

有开发者给 Codex 配了一套带视频的远程 KVM,让它能像人类一样操作真实 Mac 并看到屏幕反馈,从而自动完成 iMessage 集成的端到端测试。这件事的看点在于:AI 代理开始通过“看到画面”来验证自己的工作,而不是只依赖日志和测试断言。

一句话看懂:有开发者给 Codex 配了一套带视频的远程 KVM,让它能像人类一样操作真实 Mac 并看到屏幕反馈,从而自动完成 iMessage 集成的端到端测试。这件事的看点在于:AI 代理开始通过“看到画面”来验证自己的工作,而不是只依赖日志和测试断言。

事件核心:发生了什么

8 月 5 日,Peter Steinberger 在 X 上发布了一条消息,称他给 Codex 配备了一套视频版远程 KVM(键盘、视频、鼠标切换器),让 AI 代理能够自动测试 OpenClaw 中的 iMessage 集成。他在推文中解释了原因:iMessage 在虚拟机中运行不可靠,而且像“已读回执”这类功能要求系统关闭 SIP(系统完整性保护),这使得常规的虚拟化测试环境难以覆盖真实场景。

KVM 原本是一类硬件设备,用于远程控制多台电脑的键盘、显示器和鼠标。但这里的重点是“视频”:AI 不仅能看到远程桌面的画面,还能基于视觉反馈判断操作结果。评论区有用户指出,这是目前看到的解决“AI 代理无法验证自己工作”问题的最干净方案。该推文获得约 87.8K 次浏览,评论区还有网友分享了自己用 ESP32 和摄像头做类似实验的经验。

为什么重要

目前公开信息显示,这一做法反映了一个正在成形的技术趋势:AI 编程代理正从“写代码”走向“自己测试代码”,而测试的瓶颈不再是执行命令,而是如何判断结果是否正确。过去,AI 只能依赖日志、退出码和结构化输出;但许多真实问题(比如聊天应用发消息、界面是否正常弹出、系统弹窗拦截)只会在真实硬件和视觉反馈中暴露。

给 AI 配上视频 KVM,相当于让代理拥有了“眼睛”,可以在真实的 macOS 环境中完成端到端测试。这种思路可能为 AI Agent 的基础设施建设提供新方向:当虚拟机无法模拟全部硬件行为时,远程真实设备 + 视觉反馈的“AI 测试农场”有可能成为重要的补充方案。尤其是像 iMessage 这种依赖苹果私有框架、且与系统安全机制深度绑定的服务,虚拟化环境往往无法完整覆盖。

对用户/开发者/创作者的影响

对于个人开发者和独立黑客,这个案例提供了一个低成本的实验思路:不需要昂贵的设备集群,一台闲置 Mac、一个视频采集卡或摄像头,再加上远程控制工具,就能让 AI 代理在真实环境里“边看边测”。这适合做 macOS/iOS 相关自动化测试的团队参考。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

对于企业团队,这个案例提示了一个采购与架构层面的可能性:在评估 AI 测试工具时,不仅需要看模型的代码能力,还要考虑它是否支持视觉反馈闭环,以及能否接入真实的硬件环境。对于依赖苹果生态的开发者,视频 KVM 方案可能比单纯扩大虚拟机池更接近真实用户环境。

对于创作者和教程作者,这类实践也适合作为“AI 辅助开发”的展示案例,帮助受众理解 Agent 在真实硬件环境中完成任务的能力边界——它已经可以操作图形界面,而不再局限于命令行。

值得关注的后续

目前公开信息没有透露这套方案在复杂任务中的成功率,也没有说明 Codex 在“观看屏幕”时能否稳定处理弹窗、动画延迟等问题。未来可以关注几个方向:一是视觉反馈闭环的可靠性,比如 AI 在多步骤操作中是否频繁“看错”;二是这种“真实设备 + 视频 KVM”方案是否会被商业化,例如出现提供远程真实 iOS/macOS 设备给 AI Agent 调用的订阅服务;三是 Peter 是否会公开代码或工具链,如果有开源版本,可能会吸引大量开发者复现并改进。类似的做法也可能被云测服务商借鉴,成为新一代 AI 原生测试基础设施的雏形。

来源:Follow Builders · X · Peter Steinberger

celebrityanime
celebrityanime
文章: 18306

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注