DreamFusion是一款使用名为 Imagen 的文本到图像生成模型来优化 3D 场景的产品。
该产品采用分数蒸馏采样 (SDS) ，这是一种通过优化损失函数从扩散模型生成样本的方法。 SDS 允许在任意参数空间（例如 3D 空间）中优化样本。
该产品使用类似于 Neural Radiance Fields 的 3D 场景参数化来定义这种可微映射。 DreamFusion 添加了额外的正则化器和优化策略来改善几何形状，从而产生连贯、高质量的法线、表面几何形状和深度，以及具有 Lambertian 着色模型的可重新照明的 NeRF。
DreamFusion 的用例涉及为各种应用优化 3D 场景，例如视频游戏、虚拟现实体验和电影制作。
