使用光束平差法轉換具有相機與物體運動之2D影片

3D Video Conversion from 2D Video with Both Camera and Object Motion Using Bundle Adjustment

詹雅評(Ya-Ping Chan)

指導教授 ： 莊永裕

國立臺灣大學/電機資訊學院/資訊工程學研究所/碩士(2011年)

https://doi.org/10.6342/NTU.2011.01793

摘要

本論文針對有相機與物體運動的2D影片藉由找出背景深度而產生
背景影片之3D效果。首先，手動框出運動物體所在處， 再個別針對運
動物體與背景利用位置與顏色等限制條件來求得背景的深度值。 利用
求得之每張圖像幀的深度圖與相鄰圖像幀之影像來還原背景影像， 最
後即可利用求得之背景深度圖與還原之背景影像， 使用DIBR生成左眼
與右眼影像，在3D顯示設備下即可得到立體效果。
在預估深度值部分， 利用相機參數算得同一3D位置投影至不同時
間點的位置影像， 使用顏色與位置的限制條件找出最適合背景之深
度值， 此時針對是否為運動物體來調整限制條件， 目的是預估背景
之深度，故不考慮運動物體的資訊， 諸如運動物體之顏色與分割資
訊， 而運動物體遮掩之背景深度受其鄰近像素之深度影響。 最後，
使用背景的深度圖去回復背景影像， 有了背景的影像與深度圖後， 利
用DIBR生成左眼與右眼影片。

關鍵字

立體影片轉換 ； 2D轉3D ； 背景深度 ； 相機與物體運動 ； 光束平差法

並列摘要

This thesis presents a system - convert 2-D video
to 3-D video via the method for reconstructing good high-quality video dis-
parity maps.
First, find out the background disparity maps of videos which contain
both camera motion and object motion in videos. we formulate it to a energy
minimization problem by using color constraint and geometric constraint to
recover disparity maps. The goal is to estimate background disparity, so we
discard any information of moving objects (foreground), such as color and
segmentation, and the disparity value of pixels occluded by foreground is
affected by the disparity of its neighbors.
Given background disparity maps, we recover background images. With
background images and disparity maps, we synthesize left-eye view and right-
eye view video pair by using depth image-based rendering (DIBR) method.

並列關鍵字

2D-to-3D ； Stereoscopic video ； Stereoscopic ； Object motion ； 3D video conversion ； Disparity estimation ； Bundle optimization

參考文獻

[1] D. Comaniciu and P. Meer. Mean shift: a robust approach toward feature space anal-

ysis. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 24(5):603

–619, may 2002.

[2] M. Guttmann, L. Wolf, and D. Cohen-Or. Semi-automatic stereo extraction from

[3] A. Saxena, S. H. Chung, and A. Y. Ng. 3-d depth reconstruction from a single still