基于生成对抗网络的三维重建方法文献综述

 2023-08-14 11:08

文献综述(或调研报告):

从基本原理来看,基于视觉的三维重建方法可以分为主动视觉法和被动视觉法两个大类。主动视觉法利用仪器对物体的表面进行扫描,从而得到距离、深度等信息,然后通过对这些信息进行处理和分析来重建物体的三维结构。这种方法重建效果较为精细,但需要使用专业设备,成本较高,且设备的测量结果易受环境影响。被动视觉法是基于相机拍摄的图像,通过处理图像序列来恢复物体的三维空间信息。相比于主动视觉法,基于图像的方法虽然降低了重建模型的精度,但降低了设备成本,提高了效率,在要求实时性的场合表现更好。

本课题主要研究的是基于图像的三维重建。具体来看,根据输入图像数量和类型的不同,基于图像的三维重建方法大致可以分为以下几种:

(1)多张RGB深度图像重建

由多张图像恢复物体的三维信息传统的方法是基于多视图几何原理,从不同的视角对同一场景拍摄多张图像,并从这些图像中提取特征点,通过对特征点的匹配来获得图像中相同像素点的对应关系,然后利用对应约束关系,结合三角的测量原理,计算得出点的三维空间坐标,由此实现物体的三维重建。这种方法最具代表性的实现之一是VisualSFM算法,该算法优化了各个关键步骤的时间性能,并且还提供了可以直接操作的GUI界面。

最近的研究成果中出现了很多结合深度神经网络和数据驱动的方法。例如在[1]中使用形状先验作为辅助,同时构建基于多视角几何的光度约束和基于先验几何形状的约束,从而优化所生成的三维物体的形状参数。而在[2]中训练了一种端到端的神经网络,直接学习图像的一致性与其几何相关性,将给定的图片序列及其对应的相机参数作为输入,该网络可以直接输出对应的三维模型。

得益于Kinect等低成本深度相机的发展,深度图像也被用于多视图三维重建。在KinectFusion[3]中,算法将采集的每帧深度图像转化为三维点云,同时维护一个整体点云,通过迭代点算法(ICP)不断将新生成的点云融合到整体点云中,最后利用整体点云完成三维物体的表面估计。

(2)单张RGB图像重建

从一张二维图像恢复三维物体是一项非常具有挑战性的任务,因为单张RGB图像提供的三维信息非常有限。早期的工作主要利用图像中有限的平行、垂直等几何投影信息,或通过推导图像中的立体光、阴影、纹理等信息来实现三维重建。目前的方法则多利用形状先验来辅助形状估计,或是使用多张RGB图像作为弱监督来推导三维形状。在最近的[4]中,采用了一种形变的方式,将椭球体作为所有输入图像的默认三维形状,用两个网络分别负责提取输入RGB图像的特征和控制三维物体形变,通过借鉴二维图像特征来调整三维mesh中的图卷积网络的节点状态,为单张RGB图像的重建提供了新的思路。

剩余内容已隐藏,您需要先支付 10元 才能查看该篇文章全部内容!立即支付

以上是毕业论文文献综述,课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。