DiffPortrait3D：从照片创建 3D 头像

DiffPortrait3D：从照片创建 3D 头像

字节跳动的DiffPortrait3D提供了一种突破性的方法，可以从单个肖像中创建逼真、三维一致的视图，保持面部特征和表情。

其核心是，我们利用在大规模图像数据集上预先训练的 2D 扩散模型的生成先验作为我们的渲染主干，而去噪则是通过对外观和相机姿势的解开的细心控制来引导。为了实现这一点，我们首先将参考图像中的外观上下文注入到冻结 UNet 的自注意力层中。然后使用新颖的条件控制模块来操纵渲染视图，该模块通过从同一视图观看交叉主体的条件图像来解释相机姿势。