几分钟生成四维内容，还能控制运动效果：北大密歇根提出

本文作者潘亮博士目前是上海人工智能实验室的ResearchScientist。此前，在2020年至2023年，他于新加坡南洋理工大学S-Lab担任ResearchFellow，指导老师为刘子纬教授。他的研究重点是计算机视觉、3D点云和虚拟人类，并在顶级会议和期刊上发表了多篇论文，谷歌学术引用超过2700次。此外，他还多次担任计算机视觉和机器学习等领域顶级会议和期刊的审稿人。

近期，商汤科技-南洋理工大学联合AI研究中心S-Lab，上海人工智能实验室，北京大学与密歇根大学联合提出DreamGaussian4D（DG4D），通过结合空间变换的显式建模与静态3DGaussianSplatting（GS）技术实现高效四维内容生成。

四维内容生成近来取得了显著进展，但是现有方法存在优化时间长、运动控制能力差、细节质量低等问题。DG4D提出了一个包含两个主要模块的整体框架：1）图像到4DGS-我们首先使用DreamGaussianHD生成静态3DGS，接着基于HexPlane生成基于高斯形变的动态生成；2）视频到视频纹理细化-我们细化生成的UV空间纹理映射，并通过使用预训练的图像到视频扩散模型增强其时间一致性。

值得注意的是，DG4D将四维内容生成的优化时间从几小时缩短到几分钟（如图1所示），允许视觉上控制生成的三维运动，并支持生成可以在三维引擎中真实渲染的动画网格模型。

论文名称:DreamGaussian4D:Generative4DGaussianSplatting

主页地址:https://jiawei-ren.github.io/projects/dreamgaussian4d/

论文地址:https://arxiv.org/abs/2312.17142

Demo地址:https://huggingface.co/spaces/jiawei011/dreamgaussian4d

图1.DG4D在四分半钟内可实现四维内容优化基本收敛

问题和挑战

生成模型可以极大地简化多样化数字内容（如二维图像、视频和三维景物）的生产和制作，近年来取得了显著进步。四维内容是诸如游戏、影视等诸多下游任务的重要内容形式。四维生成内容也应支持导入传统图形学渲染引擎软件（比如，Blender或者UnrealEngine），以接入现有图形学内容生产管线（见图2）。

尽管有一些研究致力于动态三维（即四维）生成，但四维景物的高效和高质量生成仍然存在挑战。近年来，越来越多的研究方法通过结合视频和三维生成模型，约束任意视角下内容外观和动作的一致性，以实现四维内容生成。

图2.DG4D生成的四维内容支持导入到传统计算机图形学渲染引擎中

目前主流的四维内容生成方法都基于四维动态神经辐射场（4DNeRF）表示。比如，MAV3D[1]通过在HexPlane[2]上提炼文本到视频的扩散模型，实现了文本到四维内容的生成。Consistent4D[3]引入了一个视频到四维的框架，以优化级联的DyNeRF，从静态捕获的视频中生成四维景物。通过多重扩散模型的先验，Animate124[4]能够通过文本运动描述将单个未处理的二维图像动画化为三维的动态视频。基于混合SDS[5]技术，4D-fy[6]使用多个预训练扩散模型可实现引人入胜的文本到四维内容的生成。

然而，所有上述现有方法[1,3,4,6]生成单个4DNeRF都需要数个小时，这极大地限制了它们的应用潜力。此外，它们都难以有效控制或选择最后生成的运动。以上不足主要来自以下几个因素：首先，前述方法的底层隐式四维表示不够高效，存在渲染速度慢和运动规律性差的问题；其次，视频SDS的随机性质增加了收敛难度，并在最终结果中引入了不稳定性和多种瑕疵伪影现象。

方法介绍

与直接优化4DNeRF的方法不同，DG4D通过结合静态高斯泼溅技术和显式的空间变换建模，为四维内容生成构建了一个高效和强力的表征。此外，视频生成方法有潜力提供有价值的时空先验，增强高质量的4D生成。具体而言，我们提出了一个包含两个主要阶段的整体框架：1）图像到4DGS的生成；2）基于视频大模型的纹理图细化。

1.图像到4DGS的生成

图3图片到4DGS生成框架图

在这一阶段中，我们使用静态3DGS及其空间变形来表示动态的四维景物。基于一张给定的二维图片，我们使用增强方法DreamGaussianHD方法生成静态3DGS。随后，通过在静态3DGS函数上优化时间依赖的变形场，估计各个时间戳处的高斯变形，旨在让变形后的每一帧的形状和纹理都与驱动视频里面的对应帧尽力保持吻合。这一阶段结束，将可以生成一段动态的三维网格模型序列。

图4DreamGaussianHD初始化基于3DGS的三维物体模型

DreamGaussianHD基于近来使用3DGS的图生三维物体方法DreamGaussian[7]，我们做了一些进一步的改进，整理出一套效果更佳的3DGS生成和初始化方法。主要改进的操作包括有1）采取多视角的优化方式；2）设定优化过程中的渲染图片背景为更适合生成的黑色背景。我们称呼改进后的版本为DreamGaussianHD，具体的改进效果图可见图4。

图5HexPlane表征动态形变场

GaussianDeformation基于生成的静态3DGS模型，我们通过预测每一帧中高斯核的变形来生成符合期望视频的动态4DGS模型。在动态效果的表征上，我们选用HexPlane（如图5所示）来预测每一个时间戳下高斯核位移、旋转和比例尺度，从而驱动生成每一帧的动态模型。此外，我们也针对性地调整设计网络，尤其是对最后几个线性操作的网络层做了残差连接和零初始化的设计，从而可以平滑充分地基于静态3DGS模型初始化动态场（效果如图6所示）。

图6零初始化动态形变场对最后生成效果的影响

2.视频到视频的纹理优化

图7视频到视频纹理优化框架图

类似于DreamGaussian，在第一阶段基于4DGS的四维动态模型生成结束后，可以提取四维的网格模型序列。并且，我们也可以类似于DreamGaussian的做法，在网格模型的UV空间中对纹理做进一步的优化。不同于DreamGaussian只对单独的三维网格模型使用图片生成模型做纹理的优化，我们需要对整个三维网格序列做优化。

并且，我们发现如果沿用DreamGaussian的做法，即对每个三维网格序列做独立的纹理优化，会导致三维网格的纹理在不同的时间戳下有不一致的生成，并且常常会有闪烁等瑕疵伪影效果出现。鉴于此，我们有别于DreamGaussian，提出了基于视频生成大模型的视频到视频的UV空间下纹理优化方法。具体而言，我们在优化过程中随机生成了一系列相机轨迹，并基于此渲染出多个视频，并对渲染出的视频做相应的加噪和去噪处理，从而实现对生成网格模型序列的纹理增强。

基于图片生成大模型和基于视频生成大模型做的纹理优化效果对比展示在图8中。

图8基于视频到视频的纹理优化可以实现时序上纹理的稳定性和一致性

实验结果

相比之前整体优化4DNeRF的方法，DG4D显著减少了四维内容生成所需的时间。具体的用时对比可见表1。

表1四维内容生成方法用时对比

对于基于单图生成四维内容的设置，我们跟随之前方法的对比方式，将生成的四维内容与给定图片的一致程度汇报在表2中。

表2基于单图生成的四维内容与图片的一致性对比

对于基于视频生成四维内容的设置，视频生成四维内容方法的数值结果对比可见表3。

表3基于视频生成的四维内容相关方法的数值结果对比

此外，我们还对最符合我们方法的单图生成四维内容的各个方法的生成结果做了用户采样测试，测试的结果汇报在表4中。

表4基于单图生成的四维内容的用户测试

DG4D与现存开源SoTA的图生成四维内容方法和视频生成四维内容方法的效果对比图，分别展示在图9和图10中。

图9图生四维内容效果对比图

图10视频生四维内容效果对比图

此外，我们还基于近期的直接前馈实现单图生成3DGS的方法（即非使用SDS优化方法），做了静态三维内容的生成，并基于此初始化了动态4DGS的生成。直接前馈生成3DGS，可以比基于SDS优化的方法，更快地得到质量更高，也更多样化的三维内容。基于此得到的四维内容，展示在图11中。

图11基于前馈生成3DGS的方法生成的四维动态内容

更多基于单图生成的四维内容展示在图12中。

结语

基于4DGS，我们提出了DreamGaussian4D（DG4D），这是一个高效的图像到4D生成框架。相较于现存的四维内容生成框架，DG4D显著将优化时间从几小时缩短到几分钟。此外，我们展示了使用生成的视频进行驱动运动生成，实现了视觉可控的三维运动生成。

最后，DG4D允许进行三维网格模型提取，并支持实现时序上保持连贯一致的高质量纹理优化。我们希望DG4D提出的四维内容生成框架，将促进四维内容生成方向的研究工作，几分钟生成四维内容，还能控制运动效果：北大密歇根提出并有助于多样化的实际应用。

References

[1]Singeretal."Text-to-4Ddynamicscenegeneration."Proceedingsofthe40thInternationalConferenceonMachineLearning.2023.

[2]Caoetal."Hexplane:Afastrepresentationfordynamicscenes."ProceedingsoftheIEEE/CVFConferenceonComputerVisionandPatternRecognition.2023.

[3]Jiangetal."Consistent4D:Consistent360°DynamicObjectGenerationfromMonocularVideo."TheTwelfthInternationalConferenceonLearningRepresentations.2023.

[4]Zhaoetal."Animate124:Animatingoneimageto4ddynamicscene."arXivpreprintarXiv:2311.14603(2023).

[5]Pooleetal."DreamFusion:Text-to-3Dusing2DDiffusion."TheEleventhInternationalConferenceonLearningRepresentations.2022.

[6]Bahmani,Sherwin,etal."4d-fy:Text-to-4dgenerationusinghybridscoredistillationsampling."arXivpreprintarXiv:2311.17984(2023).

[7]Tangetal."DreamGaussian:GenerativeGaussianSplattingforEfficient3DContentCreation."TheTwelfthInternationalConferenceonLearningRepresentations.2023.