不靠语言预训练也能文生图?Halcyon 论文称算力省 275 倍

alphaXiv 上一项名为 Halcyon 的论文提出,完全跳过互联网规模的语言预训练,直接用图文对从零训练文生图模型,1.6B 版本在论文自设评测中超过更大的基线,且总预训练算力约为后者的 1/275。目前这是论文结果,还不是已上线产品。

一句话看懂:alphaXiv 上一项名为 Halcyon 的论文提出,完全跳过互联网规模的语言预训练,直接用图文对从零训练文生图模型,1.6B 版本在论文自设评测中超过更大的基线,且总预训练算力约为后者的 1/275。目前这是论文结果,还不是已上线产品。

事件核心:发生了什么

论文介绍 Halcyon 是一组“早期融合”多模态自回归模型,文本 token 和图像 token 共用一个仅解码器 Transformer,在约 1 亿图文对的 GPIC 数据集上从零训练。按 alphaXiv 摘要,Halcyon-0.52B 的 gFD 为 48.0,好于 LlamaGen-XL/8 的 63.3,预训练算力少 18.2 倍;Halcyon-1.6B 的 gFD 为 35.3,好于 JiT-T2I-XXL/8++ 的 41.0,算力少约 275 倍。摘要还称,对照实验显示仅做纯文本预训练并不能提升文生图效果。

为什么重要

现有文生图系统通常先付出大模型语言预训练的算力,再做图像生成。论文称在代表性系统中,语言预训练占总预训练 FLOPs 的 80% 以上。如果这一路线成立,文生图的门槛可能从“必须拥有或租用语言大模型能力”转向“高质量图文对加统一多模态训练”,也会影响开源模型与闭源 API 的成本结构。不过这里是论文结论,样本和评测均限定在 GPIC 及 256×256 条件下,不能理解为行业排名已被改写。

对用户/开发者/创作者的影响

对开发者而言,论文最值得看的是训练账本:图像 tokenizer、文本 tokenizer 和生成器都从零训练,文本 tokenizer 只拟合 GPIC 标题和 OpenWebText,而非千亿级纯文本语料。若后续复现成立,小团队在图文数据上的投入回报可能提高。对创作者和普通用户,短期没有直接可用的产品变化;论文还展示了用图像转文本监督替代标题随机丢弃来学习图像描述,同时维持文生图质量,但摘要没有给出上线时间或商业服务信息。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是代码和模型是否按摘要所述开放,以及第三方能否在 GPIC 之外的公开集上复现 gFD 优势;二是 GenEval 和 DPG-Bench 的提示词遵循结果是否经独立评测;三是这一路线能否扩展到更高分辨率、更多语言和真实产品级数据,而不是停留在 256×256 的研究设定。

来源:alphaXiv

celebrityanime
celebrityanime
文章: 29515

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注