Phenaki是一种能够在给定一系列文本提示的情况下进行逼真的视频合成的模型。它引入了一种用于学习视频表示的新因果模型，该模型将视频压缩为小的离散标记表示。这个分词器是时间自动回归的，这使得它可以处理不同长度的视频表示。为了从文本生成视频标记，我们使用了一个以预先计算的文本标记为条件的双向屏蔽转换器。生成的视频令牌随后被去令牌化以创建实际视频。为了解决数据问题，我们展示了对大量图像文本对以及较少数量的视频文本示例的联合训练如何产生超出视频数据集中可用内容的泛化。与之前的视频生成方法相比，Phenaki 可以在开放域中以一系列提示（即时间可变文本或故事）为条件生成任意长视频。据我们所知，这是第一次有论文研究从时间变量提示生成视频。
AI全能助手