
一句话看懂:开发者构建了一个自主智能体测试框架,让Claude Fable 5和GPT-5.6 Sol在100美元和25美元预算下,自动完成从研究、生成到剪辑的全流程音乐视频制作。结果不仅展示了两个模型在工具调用和预算分配上的策略差异,还暴露了当前AI自主创作的成本结构和效率瓶颈。
事件核心:发生了什么
一个名为“Music Video Arena”的开源项目,设计了一套自主工具调用环(tool-calling loop),为每个模型提供六项工具:计划(plan)、网络搜索(web_search)、预算查询(get_budget)、图像生成(generate_image)、视频生成(generate_video)以及本地shell命令(run_command,含ffmpeg/ffprobe)。模型需自行研究视频生成模型API、生成剪辑、回看自身输出并使用ffmpeg完成最终编辑。测试采用同一首歌(Bruno Mars与Mark Ronson的《Uptown Funk》),每段预算分别为25美元和100美元,共四次运行。结果所有四个视频均生成了时长完整、带原歌曲的有效作品,生成花费从23.18美元到48.60美元不等。Claude Fable 5在100美元预算下产出最高分辨率(1920×1080)及最多视频片段(80个),且无一次失败调用;而GPT-5.6 Sol在25美元预算下独特地使用了关键帧+图像转视频(image-to-video)流程。
为什么重要
这项实验直接揭示了当前前沿大模型在真实多步骤任务中的表现差异。Claude Fable 5表现出更稳定的执行效率和更高的生成质量(1080p输出、零错误调用),但其令牌成本(token cost)高达16.99-25.05美元,占总成本的30%-40%,远高于GPT-5.6 Sol的约4美元。这说明模型自身推理成本目前是自主创作中的主要壁垒之一,而非生成API本身。同时,GPT-5.6 Sol在低预算下选择通过生成静态图像再转化为视频的策略,体现出模型自主规划时的不同路径优化能力。这不仅是两个模型的对决,更是对AI agent在开放任务中自主决策、资源管理、错误恢复能力的实证测试。
对用户/开发者/创作者的影响
对于开发者:开源测试框架(github.com/hershalb/music-video-arena)允许任何人复现或修改实验,可用于评估其他模型在类似长链智能体任务上的表现,尤其是工具调用频率、失败重试策略和预算控制逻辑。对于内容创作者:这项实验表明,以100美元成本即可生成全自动音乐视频,虽然当前输出质量远未达到专业剪辑水准,但为小型创作者、自媒体或个人项目提供了低成本快速原型方案。对于AI应用开发者:注意成本结构——生成API花费有限,但大模型自身的推理成本(尤其是Claude类模型)可能成为规模化应用的大头。截至目前,两个模型均未官方公布正式定价。
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
值得关注的后续
1. **开源框架迭代**:该测试框架已公开在GitHub,如果社区反馈积极,可能催生更多针对智能体执行效率、预算优化和模型选择的第三方评估。2. **模型定价与性能竞争**:若Claude Fable 5保持高生成质量但高推理成本,GPT-5.6 Sol若推出更快或更便宜的推理方案,可能吸引更多成本敏感的开发者。3. **视频生成模型生态整合**:测试中模型自动选择了Wan 2.5、Veo 3.1 Lite、Hailuo 2.3等多个生成模型,这说明未来AI agent可能需要更强的模型发现和定价对比能力,API市场的标准化和中介服务可能成为机会。
来源:Hacker News


