Relightify: 基于扩散模型从单幅图像建模可重打光3D人脸

Relightify: Relightable 3D Faces from a Single Image via Diffusion Models

介绍了一种通过扩散模型实现从单幅图像中重建可打光的3D人脸模型的方法，取得了在纹理补全和反射率重建方面的优越性能。

Foivos Paraperas Papantoniou, Alexandros Lattas, Stylianos Moschoglou, Stefanos Zafeiriou
[Imperial College London]

Relightify: 基于扩散模型从单幅图像建模可重打光3D人脸

• 动机：受到扩散模型在图像生成方面的显著成功启发，最近的研究也展示了它们在无监督方式下解决多种逆问题的令人印象深刻能力，通过基于条件输入适当约束采样过程。出于这个动机，本文提出了首个使用扩散模型作为先验从单幅图像中实现高精度3D人脸BRDF重建的方法。
• 方法：利用高质量的人脸反射率(漫反射和镜面反射率)的UV数据集，根据不同照明设置下的渲染纹理生成自然RGB纹理，并在合成的纹理和反射率组件的拼接对上训练无条件的扩散模型。在测试时，将3D可变形模型拟合给定图像，并在部分UV纹理中展开面部。通过从扩散模型中采样，同时保持观察到的纹理部分完整，模型在一系列去噪步骤中修复自遮挡区域和未知的反射率分量。
• 优势：与现有方法相比，直接从输入图像中获取观察到的纹理，从而获得更忠实和一致的反射率估计。通过定性和定量比较，我展示了在纹理补全和反射率重建任务中的卓越性能。

https://arxiv.org/abs/2305.06077