基于三维模型匹配的单张图像物体深度恢复.caj

基于三维模型匹配的单张图像物体深度恢复
作者 : 谢卫健
学位授予单位 : 浙江大学
学位名称 : 硕士
导师姓名 : 章国锋
学位年度 : 2017
关键词 : 深度恢复；分块匹配；物体分割；深度融合
摘要 : 从视频和图片中恢复三维信息是计算机视觉领域里的一个基本问题,有着广泛的应用。例如,高质量的深度信息不仅可以直接用来重建场景的三维结构、辅助机器人导航,而且还能帮助计算机更好地识别和理解图像中的物体和场景。特别是随着机器人、虚拟现实和增强现实等应用的兴起,如何让计算机更好地根据所拍摄的图像或视频去分析和理解三维世界变得越来越重要。由于很多时候,我们只能获取单张图像,因此如何为单帧图像恢复深度具有重要的理论研究意义和应用价值。随着三维模型数据集的快速增长,许多研究人员开始尝试利用这些先验模型来进行单帧图像的物体深度恢复。但是,现有的方法一般要求输入图片与训练集中的数据有较高的匹配度,难以处理输入图片中的物体与模型库中的三维模型差异较大的情况;而且,很多方法要求物体的分割信息作为物体深度恢复的先验信息,这很大程度上限制了算法的应用场景。针对这两个问题,本文提出了一个无需预先分割的单张图像物体自动深度恢复方法。首先,将图片与训练集中的数据进行图片匹配,求得候选集,并根据候选集图片的结构特征进行自适应分块,在此基础上进行分块匹配,将分块匹配的结果作为深度预测的依据,有效解决了输入图片与数据集中的三维模型无法很好匹配的情况。其次,基于分块匹配的结果对物体进行自动分割,实现了高质量的物体自动分割和深度估计。再次,针对通过匹配得到的深度在物体不连续边界区域比较粗糙的情况,提出使用改进的分割结果来进行约束,对空洞区域进行深度补全,并进行双边滤波使得深度平滑化,从而有效提高了深度恢复的质量。一系列的实验结果和与其它方法的对比证明了所提方法的有效性。