今日概览
共收录 1 篇论文 | Audio LLM: 0 篇 | LLM Training: 0 篇 | AI Agents: 0 篇 | 其他值得关注: 1 篇
来源: HuggingFace Papers（1） | 去重跳过近 7 天已报道论文（29）
周一早间仍处在 arXiv 周末低产窗口，今天的榜单几乎全是近几日旧论文。唯一新增的 VideoRAE 关注视频生成模型的潜空间：它不再从头训练只追求像素重建的 3D-VAE，而是尝试把冻结视频基础模型中已有的语义与时空表示，压缩成可重建、也适合生成的连续或离散潜变量。
重点推荐 ⭐
- VideoRAE：把冻结视频基础模型的多尺度表示改造成生成潜空间，同时兼容扩散 Transformer 与自回归生成；UCF-101 结果和约 5 倍收敛加速值得关注，但更大规模文生视频质量仍需等完整实验与代码验证。
📌 其他值得关注
VideoRAE: Taming Video Foundation Models for Generative Modeling via Representation Autoencoders
VideoRAE 用冻结视频基础模型的多尺度层级特征构建表示自编码器，让富含语义和时空结构的理解表征同时成为可重建、可供生成模型使用的潜空间。
- 作者: Zhihao Xie, Junfeng Wu, Xinting Hu, Junchao Huang, Li Jiang
- 来源: HuggingFace Trending（1 upvote）
- 链接: arXiv | PDF | 项目页
- 关键贡献: 模型从冻结的 V-JEPA 2、VideoMAEv2 一类视频基础编码器提取多尺度层级特征，再由轻量 1D 自注意力投影器压缩。它既能输出供 Diffusion Transformer 使用的连续潜变量，也能借助多码本高维量化生成供自回归模型使用的离散 token；解码时以冻结 VFM 为教师，使用局部与全局表示对齐目标保持语义，因此无需 KL 正则化。
- 实验结果: 在 UCF-101 类别到视频任务上，搭配自回归和 DiT 生成器时分别取得 40 和 93 的 gFVD，论文称均达到当前最佳，并比对比自编码器约快 5 倍收敛；在受控的 2B 参数文生视频实验中，用 VideoRAE 替换 LTX-VAE 也能更快收敛。
- 精评: 这项工作的价值不只是换一个视频压缩器，而是尝试复用理解模型已经学到的语义—时空结构，打通“视频理解表征”和“视频生成潜空间”。连续、离散两种接口也让它能横跨 DiT 与自回归路线。不过目前公开摘要的证据仍偏早期：UCF-101 是相对有限的类别条件基准；2B 文生视频实验强调了收敛速度，却没有给出最终质量提升的具体数字。模型和代码尚未实际发布，因此复现性、训练成本以及复杂长视频上的收益仍待验证。
- 相关技术: representation autoencoder, frozen video foundation model, hierarchical features, 1D self-attention projector, multi-codebook quantization, Diffusion Transformer, autoregressive video generation
- 代码/权重: 论文称将在项目页发布，目前尚未开放 ⏳
📄 Abstract 中文翻译
视频生成模型通常依赖由 3D 变分自编码器（3D-VAE）学习得到的潜空间。然而，传统 3D-VAE 主要针对像素级重建进行优化，这可能限制其潜变量对语义及时空结构的表达能力。与此同时，V-JEPA 2、VideoMAEv2 等视频基础模型（VFM）展现出强大的视频理解能力，但能否将它们的冻结表征转化为紧凑、可重建且适合生成的视频潜变量，仍缺乏充分探索。
我们以 VideoRAE 回答这一问题。VideoRAE 是一种表示自编码器，它利用冻结视频基础编码器中的多尺度层级特征，并通过轻量级 1D 自注意力投影器对其进行压缩。VideoRAE 同时支持两类表示：一类是供扩散 Transformer 使用的连续潜变量，另一类是通过多码本高维量化得到、供自回归模型使用的离散 token。在解码阶段，我们使用冻结 VFM 教师模型实施局部与全局表示对齐目标，从而改善语义保持能力，并使训练无需 KL 正则化。
实验表明，VideoRAE 在连续和离散两种设置下都具有很强的重建能力。在 UCF-101 上，它搭配自回归生成器和 DiT 生成器时，在类别到视频任务中分别取得 40 和 93 的生成 FVD（gFVD），达到当前最佳水平，同时比参与比较的自编码器基线快约 5 倍收敛。在一项受控的 2B 参数规模文生视频研究中，在其他设置相当的情况下，以 VideoRAE 替换 LTX-VAE 同样带来了更快的收敛速度。这些结果验证了冻结视频基础模型的表征可以成为通用且适合生成的视频潜变量。模型与代码将发布在 https://zhxie0117.github.io/VideoRAE 。
Generated on 2026-07-20 08:05 CST | Sources: HuggingFace Papers