DreamFusion

梦融合

梦融合是一个使用名为 Imagen 的文本到图像生成模型来优化 3D 场景的产品。它采用了分数蒸馏采样 (SDS)，这是一种通过优化损失函数从扩散模型生成样本的方法。 SDS 允许在任意参数空间（例如 3D 空间）中优化样本。该产品使用类似于神经辐射场的 3D 场景参数化来定义这种可微映射。梦融合还添加了额外的正则化器和优化策略来改善几何形状，从而产生连贯、高质量的法线、表面几何形状和深度，以及具有 Lambertian 着色模型的可重新照明的 NeRF。 梦融合的应用场景包括为各种应用优化 3D 场景，例如视频游戏、虚拟现实体验和电影制作。