视频存储专为AI训练改写:解码调度与参考结构协同设计

2026年10月21日,Hugging Face Papers 收录的一篇论文针对 AI 训练中视频随机采样导致的解码效率瓶颈,提出“依赖感知稀疏解码 + DDRA 编码”的组合方案。其价值在于:在不牺牲压缩率的前提下,降低视频数据读取的算力与存储开销。

一句话看懂:2026年10月21日,Hugging Face Papers 收录的一篇论文针对 AI 训练中视频随机采样导致的解码效率瓶颈,提出“依赖感知稀疏解码 + DDRA 编码”的组合方案。其价值在于:在不牺牲压缩率的前提下,降低视频数据读取的算力与存储开销。

事件核心:发生了什么

目前公开信息显示,这篇论文关注一个被忽视的基础设施问题:主流视频编码(如长 GOP、帧间参考链)为顺序播放而优化,但大模型训练常按随机时间点抽取视频帧,于是解码器被迫重建大量与目标帧无关的帧,造成“解码放大”。作者将其归为两类来源:无关帧的顺序重建,以及采样目标所需参考链的重建。

论文提出两条路径:一是依赖感知稀疏解码,只重建被请求的帧及其必要参考帧,且无需转码源视频;二是可选的离线 DDRA 编码,把内部帧的参考限制在两个帧内编码锚点之间,使每次请求最多重建三帧,且不受 GOP 长度影响。摘要称,在大规模机器人视频数据集上,该方法在重建质量相当的前提下,加载吞吐达到 LeRobot v3 的 1.45 倍,媒体负载减少 58.7%。

为什么重要

视频正成为具身智能、机器人、多模态大模型的重要训练数据,数据规模上去后,瓶颈往往不在 GPU 算力,而在数据管线的读盘、解码和网络传输。若解码开销能随采样请求按需收缩,训练侧就能在同等存储预算下提高数据供给效率,或直接降低存储与带宽成本。对开源数据格式和训练框架(如 LeRobot 生态)而言,这也可能带来存储层设计上的新选择。

对用户/开发者/创作者的影响

对训练框架和数据集开发者,这意味着视频存储不再只能“顺序优先”;可在数据加载层引入依赖感知调度,减少 CPU 解码与 I/O 抖动。对做机器人、自动驾驶或多模态训练的团队,DDRA 这类编码适合离线预处理,但需评估与现有工具链、硬件解码器的兼容性。对普通创作者和 AI 应用用户,短期影响有限,更多是后端训练成本与效率的改善。

值得关注的后续

一是论文代码与工具是否开源,能否接入主流视频解码库和训练框架;二是 DDRA 在非机器人视频、不同分辨率和编码标准上的泛化表现;三是 LeRobot 等社区格式是否跟进类似存储优化。需注意,上述数据仅来自摘要,实验条件与可复现性仍待全文核验。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 30450

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注