建设银行无锡分行网站,宁波受欢迎全网seo优化,怀柔高端网站建设,西安网站搭建人物AIGC#xff1a;FaceChain人物写真生成工业级开源项目#xff0c;欢迎上github体验。 简介#xff1a; 随着图像生成领域的研究飞速发展#xff0c;基于diffusion的生成式模型取得效果上的大突破。在图像生成/编辑产品大爆发的今天#xff0c;视频生成/编辑技术也引起…人物AIGCFaceChain人物写真生成工业级开源项目欢迎上github体验。 简介 随着图像生成领域的研究飞速发展基于diffusion的生成式模型取得效果上的大突破。在图像生成/编辑产品大爆发的今天视频生成/编辑技术也引起了学术界和产业界的高度关注。该分享主要介绍视频生成/编辑的研究现状包括不同技术路线的优劣势以及该领域当下面临的核心问题与挑战。 摘要
随着图像生成领域的研究飞速发展基于diffusion的生成式模型取得效果上的大突破。在图像生成/编辑产品大爆发的今天视频生成/编辑技术也引起了学术界和产业界的高度关注。该分享主要介绍视频生成/编辑的研究现状包括不同技术路线的优劣势以及该领域当下面临的核心问题与挑战。
1. 背景介绍
不少视频生成/编辑模型都是基于图像生成模型的预训练权重进行训练结构也与图像生成模型一脉相承因此在介绍视频生成/编辑模型之前有必要先介绍图像生成/编辑模型。我们根据不同的技术路线将图像生成/编辑模型分成四种类型分别是使用编辑前后数据对进行训练的模型、zero-shot模型、one-shot/few-shot模型以及解耦合模型。我们将视频生成/编辑模型也分成四类分别是large-data-driven模型、zero-shot模型、one-shot/few-shot模型和解耦合模型。接下来将分别介绍这几种类型。
2. 图像生成/编辑
2.1. 使用编辑前后数据对进行训练
比较典型的工作是 InstructPix2Pix [1]。该方法通过构造编辑前后的图像数据对来生成训练数据使用这种数据进行训练得到的模型无需 finetune 即可进行图像编辑。具体的构造方式是利用 GPT3 生成编辑前后的 text prompt再利用 stable diffusion Prompt2Prompt 的方式进行编辑得到编辑前后图像对。
下图是 InstructPix2Pix 的示意图 2.2. Zero-Shot 方法
比较具有代表性的工作是 Prompt-to-prompt [2] 和 MasaCtrl [3]。他们通过修改 cross attention 里的 attention maps 或 attention 机制的方式来实现无需 finetune 的图像编辑。Prompt-to-prompt 的具体做法是对于由给定 prompt 通过模型生成的图像若是真实场景图像则需要做精确的 inversion保留其 cross attention 步骤中的 attention map对于新 text prompt将新的词生成的 new attention 插入原 attention maps 中并根据权重重新计算生成编辑后的图像。
下图是 Prompt-to-prompt 的示意图 2.3. One-Shot/Few-Shot方法
该类方法分为两类一种是通过 finetune 来让网络学习到关于输入图像的 identifier这样编辑过程中就能保留原图的内容和结构第二种是通过设计保留原图内容和结构的 loss 来进行 finetune。第一种的代表性方法包括 Dreambooth [4] 和 DreamArtist [5]。其中 Dreambooth 便是通过对描述输入图像的 text prompt 插入特征 tokenizer然后在同一物体的少量数据上训练让网络记住该物体与该特定 identifier 之间的对应关系。接下来便能通过对 identifier 进行修饰从而达到对该物体的图像进行编辑的目的。
下图是 Dreambooth 的示意图 第二种的代表性方法是 Text2live [6]。对于一张输入图像以及 target text prompt该方法对图像和 text 分别做 augmentations 并生成数据集 internal dataset然后在这个 internal dataset 上对模型进行finetune。模型的输出是带 alpha 通道的图层该图层添加到原图上构成最终的输出图像。为了让生成的图像在保留原图内容和结构不变的基础上符合 target prompt 的描述它使用了三种 lossComposition LossStructure Loss 和 Screen Loss。Composition Loss 计算生成图像与 target prompt 在 clip 空间的距离Structure Loss 计算生成图像与原图在结构和内容上的距离Screen Loss 计算将带 alpha 通道的图层与绿幕组合后的图像与对该绿幕图像的 text 描述之间的 clip 距离。
下图是 Text2live 的示意图 2.4. 解耦合方法
这类方法将图像要素解耦合成控制条件如人体pose、edge map等与图像内容/风格/语义通过训练显式的编码器对控制条件或图像内容/风格/语义分别进行编码。推理阶段修改图像内容/风格来生成符合控制条件的编辑后图像或是通过修改控制条件来生成相同内容/风格/语义的图像。比较典型的方法如 DisCo [14] 和 Prompt-Free Diffusion [15]。其中 DisCo 是针对人物姿态转换的模型在第一阶段的训练中它将人物图像进一步拆解成前景人物和背景对网络进行训练第二阶段在第一阶段的基础上加上对控制条件人物姿态 的编码器进行进一步训练。DisCo 虽然在图像数据集上训练但它可以被用来进行姿态引导的人物动态视频的生成只要对单帧分别处理即可。
下图是 DisCo 的示意图 3. 视频生成/编辑
3.1. Large-Data-Driven
这类方法在保持图像生成模型权重不变的基础之上添加时序层用大量的视频或者视频-文本数据对时序层进行训练让模型学习到视频帧间连续性的同时尽可能保留原模型的图像生成能力。这类方法包括 Make-A-Video [7]Follow Your Pose [8]Control-A-Video [9]AnimateDiff [10]Align your Latents [11]。其中 Follow Your Pose 采取两阶段的训练方法第一阶段使用带 pose 的 text-image 图像数据对进行训练第二阶段使用不带 pose 的 text-video 数据对 temporal self-attention layer 和 cross-frame spatial attention layer 进行训练。最终 inference 阶段使用 pose 和 text 共同控制视频的生成。
下图是 Follow Your Pose 的示意图 3.2. One-Shot/Few-Shot 方法
与图像的方法类似这类方法针对单个视频进行 finetune使网络学习到属于该视频的时域特征比较典型的是Tune-A-Video [12] 和 ControlVideo [13]。Tune-A-Video 将图像生成模型的权重固定不变在单个视频上使用 source text prompt 和 image 对时序层进行 finetune。在 inference 阶段先对输入视频进行 DDIM inversion然后使用新的 prompt 生成编辑后的视频。ControlVideo 在 Tune-A-Video 的基础之上加入了如 edge map 等其他控制手段引导视频的生成。
下图是 ControlVideo 的示意图
3.3. Zero-Shot 方法
与图像的方法类似这类方法通过对视频求精确的 inversion然后修改 attention maps 或是 attention 机制来进行无需训练的视频编辑典型的比如 Fatezero [16]Zero-shot video editing [17] 和 Video-p2p [18]。另一类方法根据视频时域连续性的先验知识有针对性地设计新的 cross attention 机制或 adapter 来控制采样阶段生成的帧序列在结构、内容和色彩上的连续性。典型的方法比如 ControlVideo [19] 和 Rerender A Video [20]。其中 Rerender A Video 利用视频的光流信息对采样阶段的隐空间特征进行变换和引导同时辅以结构和色彩 adapter实现了对输出视频的时域连续性控制。
下图为 Rerender A Video 的示意图
3.4. 解耦合方法
图像编辑的解耦合方法也可以用来实现视频编辑例如 DisCo [14]这里我们主要介绍针对视频的解耦合方法考虑了时域特征。与图像解耦合思路类似视频也能被解耦合成控制条件帧序列如人体pose、edge map等与单帧图像内容/风格/语义通过训练显式的编码器对控制条件序列或单帧图像内容/风格/语义进行编码典型的方法如 DreamPose [21]。另一类解耦合方法CoDeF [22]从视频本身的特性出发将视频拆解成 canonical content field 和 temporal deformation field 两个元素。只要通过图像编辑/生成模型对单帧图像进行编辑生成新的 canonical content field 再根据原视频的 temporal deformation field 就能生成被编辑后的视频。这一类方法的效果高度依赖解耦合思路的合理性以及模型的解耦合程度/能力。
下图为 DreamPose 的示意图
4. 总结
视频编辑/生成的核心难点是如何保证帧间的连续性在内容和结构上获得令人满意的视觉效果。这四种方法本质上均是试图解决帧间内容连续性的问题只不过采用了四种不同的手段和技术路线。Large-Data-Driven 需要大量的优质视频数据进行训练对存储空间和算力资源的需求很大。One-Shot/Few-Shot 方法对资源的消耗较小但每次需对单个视频进行 finetune较为耗时。Zero-Shot 方法对资源消耗小且速度快但囿于技术手段本身的局限性所能实现的效果存在着天然的瓶颈且对精心设计的时域控制手段的要求也很高。解耦合方法从视频本身特性出发将视频拆解成不同的要素进行针对性的训练以及再组合但效果的好坏取决于解耦合的设计与模型解耦合的能力。探索出保证视频帧间连续性的技术路线仍然是一个亟待解决的核心问题。
References
[1] InstructPix2Pix: Learning to Follow Image Editing Instructions.
[2] Prompt-to-prompt image editing with cross attention control.
[3] MasaCtrl: Tuning-Free Mutual Self-Attention Control for Consistent Image Synthesis and Editing.
[4] Dreambooth: Fine tuning text-to-image diffusion models for subject-driven generation.
[5] DreamArtist: Towards Controllable One-Shot Text-to-Image Generation via Contrastive Prompt-Tuning.
[6] Text2live: Text-driven layered image and video editing.
[7] Make-A-Video: Text-to-Video Generation without Text-Video Data.
[8] Follow Your Pose: Pose-Guided Text-to-Video Generation using Pose-Free Videos.
[9] Control-A-Video: Controllable Text-to-Video Generation with Diffusion Models.
[10] AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning.
[11] Align your Latents: High-Resolution Video Synthesis with Latent Diffusion Models.
[12] Tune-A-Video: One-Shot Tuning of Image Diffusion Models for Text-to-Video Generation.
[13] ControlVideo: Adding Conditional Control for One Shot Text-to-Video Editing.
[14] DisCo: Disentangled Control for Referring Human Dance Generation in Real World.
[15] Prompt-Free Diffusion: Taking Text out of Text-to-Image Diffusion Models.
[16] Fatezero: Fusing attentions for zero-shot text-based video editing.
[17] Zero-shot video editing using off-the-shelf image diffusion models.
[18] Video-p2p: Video editing with cross-attention control.
[19] ControlVideo: Training-free Controllable Text-to-Video Generation.
[20] Rerender A Video: Zero-Shot Text-Guided Video-to-Video Translation.
[21] DreamPose: Fashion Image-to-Video Synthesis via Stable Diffusion.
[22] CoDeF: Content Deformation Fields for Temporally Consistent Video Processing.
