MatAnyone-E 发布:低分辨率筛选加稀疏匹配,4K 视频抠像提速约 7.4 倍

MatAnyone-E 作为 MatAnyone 2 的效率扩展方案,先用低分辨率传播判断哪些区域需要精细匹配,再只对高分辨率部分做稀疏匹配。论文摘要称,在 4K 下推理速度约提升 7.4 倍,峰值显存降至原来的 7.6%。

一句话看懂:MatAnyone-E 作为 MatAnyone 2 的效率扩展方案,先用低分辨率传播判断哪些区域需要精细匹配,再只对高分辨率部分做稀疏匹配。论文摘要称,在 4K 下推理速度约提升 7.4 倍,峰值显存降至原来的 7.6%。

事件核心:发生了什么

根据 alphaXiv 收录的论文页面(发布时间 2026-10-26),MatAnyone-E 针对高分辨率视频抠像中的显存匹配瓶颈提出改进。视频抠像需要逐像素输出连续 alpha 值,并同时保住发丝、透明边缘和跨帧稳定性,而基于记忆的方法要把当前帧特征与历史帧特征比对,分辨率越高开销越大。

MatAnyone-E 的做法是:先做一次低成本低分辨率传播,找出不确定性较高的区域,以及与之最相关的记忆候选;随后只对这些区域和选中的记忆做高分辨率匹配,其余位置沿用低分辨率结果。另配一个轻量解码器,并通过训练让它的表示贴近原 MatAnyone 2 解码器。摘要给出的数据是:在 4K 下,相比 MatAnyone 2 维持相近抠像质量,推理约提速 7.4 倍,峰值 GPU 显存约为后者的 7.6%;在单张 NVIDIA H200、开启编译推理的条件下,1080p 达 73.07 FPS,4K 达 28.62 FPS。

为什么重要

高分辨率抠像长期受限于算力和显存,4K 素材尤其明显。如果论文结果能在更多场景复现,受益的不只是质量,还有把视频抠像从“离线精修”推向更实时工作流的可能性。更关键的是稀疏匹配这一思路:先在低分辨率层面判断“哪里值得算”,与扩散模型等生成式模型常用的分块、选择性精修方向一致,说明“算力分配”正成为视频处理模型的重要优化维度。目前公开信息显示,这仍是论文层面的方法,不应视为已上线产品或已完成的独立评测排名。

对用户/开发者/创作者的影响

对剪辑师和短视频创作者,4K 抠像的显存门槛若下降,意味着普通工作站也可能处理更高规格素材,绿幕替代、人物换背景和直播合成的工作流会更轻。对开发者,MatAnyone-E 是 MatAnyone 2 的扩展而非全新架构,关注其权重是否开源、推理代码和编译选项是否可复现,比只看 FPS 数字更有意义。对硬件采购方,H200 上的帧率数据可用于估算部署成本,但摘要未披露其他 GPU 的表现,不宜跨设备外推。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是有无官方代码和权重发布,以及能否在消费级显卡上复现提速;二是摘要未覆盖的细节,如运动剧烈、透明物体和长视频场景下的质量是否稳定;三是低分辨率筛选在高分辨率进一步提升时是否仍有优势,以及同类记忆匹配抠像方案会不会跟进稀疏化。

来源:alphaXiv

celebrityanime
celebrityanime
文章: 30460

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注