單視域之遞迴式深度估測補償

Monoscopic Depth Map Compensation Using Recursive Method

羅至中(Chih-Chung Lo)

指導教授 ： 張文鐘

國立交通大學/電機學院/電信工程系所/碩士(2012年)

https://doi.org/10.6842/NCTU.2012.00946

摘要

本論文提出了一個針對單視域影像的深度估測方法，為了能從單張影像中獲得深度資訊，我們使用了一些深度線索來幫助估測，例如影像中的花紋等。此外，移動向量這個深度線索常在連續兩張影像中使用，大部分對於單視域影像的深度估測都是將這些深度線索做線性加成而得到初始的深度估測圖，然而將各個深度線索線性加成所使用的權重分配並沒有一套有系統的逼近方法，因此我們提出了一個利用遞迴式的方法來做深度估測的補償。在我們利用線性加成得到初步估測的深度圖之後，便可利用DIBR(Depth Image Based Rendering)的技術合成出左右眼影像對，接著我們把這左右眼影像對利用立體視覺測量法計算深度圖，在本論文使用的立體視覺匹配演算法是Dynamic Programming(DP)，由於DP考慮到了影像像素點之間的關連性，這是初始深度圖估測所沒有的，因此可以得到一個較平滑的深度圖也解決了前景物體內部的深度不正確區塊，在獲得這個新的深度圖之後，我們利用它來補償初步估測的深度圖以得到更好的深度估測效果。實驗中證實本論文提出的方法可有效改進原始的估測深度圖，此外對合成左右眼影像對並利用3D立體顯示器觀賞時也將對人眼更為舒適。

關鍵字

單視域影像 ； 深度圖 ； 深度線索 ； 立體視覺

並列摘要

This paper presents a method for depth map estimation from monoscopic video. To estimate depth from single image, some depth cues such as texture is used for initial guess. However motion vectors between current frame and previous frame is more often used. Most methods combine these cues linearly to get initial depth map estimation. However no systematic approach is available for weight estimation. Thus a recursive method is proposed for depth map estimation. After we got initial depth map, we can compute a left/right image pair by DIBR(depth image based rendering). Then this image pair can be used to compute disparity map by using DP(dynamic programming) based on stereo vision. DP takes the depth relation between pixels into account while the initial depth map estimation does not. So this disparity map get smoother depth estimation and fix the problem inside foreground objects. With this new depth map, recursive depth map compensation is used to derive a better depth estimation. Experiment results show our method can improve the original depth map and further more derive the stereo images with better visual comfort.

並列關鍵字

monoscopic video ； depth map ； depth cues ； stereo vision

參考文獻

[1] Man-Bae Kim, Mun-Sup Song, Do-Kyoon Kim, and Kwang-Chul Choi, “Stereoscopic conversion of monoscopic video by the transformation of vertical-to-horizontal disparity,” in Proc. SPIE, vol. 3295, pp. 65-75, 1998.

[3] Yu-Lin Chang, Chih-Ying Fang, Li-Fu Ding, Shao-Yi Chen and Liang-Gee Chen,

“Depth Map Generation for 2D-to-3D Conversion by Short-Term Motion Assisted Color

Segmentation,” in Proc. IEEE International Conference on Multimedia and Expo,

pp.1958 –1961, 2007.