Arena-T2I Hard 基准发布:顶级图像模型忠实度仅 0.855

alphaXiv 收录的一篇论文提出 Arena-T2I Hard 图像生成忠实度基准,从真实竞技场日志中筛出 310 条复杂提示词,最强闭源系统得分仅 0.855,并用依赖感知清单奖励改善训练效果。本文目前仅基于论文摘要与页面信息。

一句话看懂:alphaXiv 收录的一篇论文提出 Arena-T2I Hard 图像生成忠实度基准,从真实竞技场日志中筛出 310 条复杂提示词,最强闭源系统得分仅 0.855,并用依赖感知清单奖励改善训练效果。本文目前仅基于论文摘要与页面信息。

事件核心:发生了什么

论文指出,现有忠实度基准多用简单原子指令,顶级模型已接近满分,难以区分差异。作者构建 Arena-T2I Hard:310 条提示取自公开图像竞技场提交,经人工按长度与清单问题数量筛选,平均约 430 词、约 30 个可分解的是/否约束,覆盖空间关系、风格、文字渲染等六类。评测 11 个闭源系统(用 gemini-3-flash 判定),最强模型 gemini-3-pro-image-preview-2k 得 0.855,ideogram-v3-quality 仅 0.523,系统间差距约 33 个百分点。同一批系统在 DPG-Bench、DSG 上普遍在 0.84 以上,说明旧基准已趋饱和。论文还发现,公开竞技场排名与清单忠实度相关性弱,整体 Bradley-Terry 偏好分更偏向美观而非细粒度遵循。

为什么重要

用户进入创作工作流后,提示词往往同时包含空间布局、风格和文字渲染,单一总分无法说明模型到底漏了哪条约束。该基准把忠实度拆成逐条可核查的问题,并将问题组织成有依赖关系的 DAG:物体不存在时,其属性问题直接判否,避免“椅子不存在却回答椅子是蓝色”的误判。作者进一步把这种清单转化为训练奖励,配合组内归一化的 GDPO 与美学奖励结合,在 SD3.5-Medium 和 FLUX.1-dev 上取得优于单一奖励、加权求和和四奖励 BT 集成的忠实度—美观权衡。这为图像生成模型的训练与评测提供了一条更细粒度的路线。

对用户/开发者/创作者的影响

对创作者,复杂提示词的“看起来不错但漏要求”问题有了更可解释的衡量方式;对开发者,清单式约束可作为奖励信号接入微调流程,但需注意它是压力测试集,不代表全部真实请求的分布;对企业选型,公开竞技场偏好排名不宜单独作为忠实度依据,应结合具体任务评测。目前公开信息显示,这是论文层面的基准与训练方法,尚不等同于已上线产品或 API。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是基准与判定流程是否开源、能否复现;二是依赖感知奖励是否被主流图像模型训练管线采用;三是竞技场排名体系是否会引入细粒度约束指标。相关结论均限于论文所设任务与评测条件。

来源:alphaXiv

celebrityanime
celebrityanime
文章: 30613

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注