Phenaki

Phenaki 是一种人工智能模型，可以直接从文本中生成长达数分钟的视频。您还可以从静止图像和提示生成视频。所提出的视频编码器-解码器在时空质量和每个视频的令牌数量方面优于文献中当前使用的所有每帧基线。为了从文本生成视频标记，他们使用以预先计算的文本标记为条件的双向掩码转换器。生成的视频令牌随后被去令牌化以创建实际视频。