基於長時間背景 Sprite 模型建立之半自動2D轉3D視訊技術

Semi-automatic 2D-to-3D Video Conversion Technique Based on Background Sprite Generation

邱紹庭(Shao-Ting Chiu)

指導教授 ： 賴文能

國立中正大學/工學院/電機工程學系/碩士(2015年)

摘要

2010年起，3DTV 科技逐漸走入我們的生活之中，然而目前市面上的 3D 視訊內容仍嫌不足。為了有效解決3D數位內容的不足，將舊有 2D 視訊轉換為 3D 視訊就相當重要。全自動 2D 轉 3D 的方式所產生的深度圖品質不佳，嚴重影響視覺體驗的 3D 品質，因此利用半自動轉換技術以同時兼顧 3D 品質與生產效率，是目前較有效的方法。然而，目前半自動轉換的技術上仍存在著兩個問題，分別是無法處理動作過快的前景物體，及無法處理複雜的背景畫面，其原因在於前景與背景擁有不同的影像特性，難以用相同的方法來處理。
有鑑於此，本文提出一個新的半自動 2D 轉 3D 技術架構，透過將前景與背景深度圖分開處理，最後再加以結合，有效解決前景跟背景難以同時處理的問題。前景部分，首先由視訊內容中挑選關鍵畫面，透過人工繪製及電腦軟體的協助，給予前景物體適當的標籤與相對的深度值，並透過標籤傳遞的方式將標籤傳遞至非關鍵畫面，過程中僅保留可靠標籤仍為前景種子，再透過圖像切割的方式得到非關鍵畫面中前景物體的輪廓及相對深度資訊，以獲得整個序列影像的前景深度圖。背景部分則是透過前景深度圖移除畫面前景，再利用各時刻畫面的背景部分建立長時間背景 Sprite 模型，有效將各時刻畫面的背景資訊整合在一起，最後透過人工的方式繪製背景 Sprite 深度圖，即可利用各時刻畫面與背景 Sprite 模型間的相對轉換對準關係，得到各時刻(包括關鍵與非關鍵畫面)品質良好的背景深度圖。最後，只要整合前景與背景深度圖，即可得到全序列各畫面的深度影像。
實驗結果顯示，本論文提出的半自動 2D 轉 3D 技術，透過背景 Sprite 模型能有效率地以人工繪製全序列良好的背景深度圖，而前景方面透過時間軸的標籤傳遞並配合空間的圖像切割，能改善物體移動過快所造成的深度傳遞錯誤。因此，本論文方法可以有效增加前後兩個關鍵畫面的時間間距，大幅提升半自動化轉換的效率及品質。

關鍵字

2D至3D立體視訊轉換 ； Sprite 模型 ； 深度傳遞 ； 關鍵畫面

並列摘要

Due to the lake of 3D video content, the 2D-to-3D video conversion technique can easily get the 3D video content by convert the inherent 2D video content to 3D. Because the automatic conversion technique cannot get the high quality depth map, we proposed a novel framework of semi-automatic 2D-to-3D video conversion technique. In our framework, we handle the foreground and background depth map separately.
For the foreground depth map, the user manually stroke the foreground label on the key frame, and the foreground area can be separated using graph cut technique. The depth map can be generated from the label and corresponding value. Then we propagate the foreground label and corresponding depth value to every non-key frame. After removing some unreliable label, the non key frame foreground depth map can be generated by the graph cut.
For the background depth map, we construct the sprite model of background from sequential image, and the user can manually draw the background depth map on the sprite model. The background depth map of each frame can be generated by mapping with the sprite model. Finally, we combine foreground and background depth map to get the complete depth map.
In our experiment, our method can solve the propagate error from fast movement of object and improve the efficiency and quality of depth map.

並列關鍵字

Sprite ； 2D-to-3D Video Conversion ； Depth propagation ； Key frame

參考文獻

[1] Wen-Nung Lie, Chun-Yu Chen, and Wei-Chih Chen, “2D to 3D Video Conversion with Key-frame Depth Propagation and Trilateral Filtering,” IET Electronics Letters, Vol.47, No.5, pp.319-321, March. 2011.

[2] Xun Cao, Zheng Li, and Qionghai Dai, “Semi-Automatic 2D-to-3D Conversion Using Disparity Propagation,” IEEE Transactions on Broadcasting, vol. 57,pp.491-499,2011.

[3] Haoqian Wang, Yushi Tian, Yongbing Zhang, “A Novel Depth Propagation Algorithm With Color Guided Motion Estimation,”Visual Communications and Image Processing, pp.1-5, 2013.

[4] Guo-Shiang Lin, Jian-Fa Huang, Wen-Nung Lie, “Semi-Automatic 2D-To-3D Video Conversion Based On Depth Propagation From Key-Frames,”Proc. of IEEE Int’l Conf. on Image Processing (ICIP), Melbourne, pp.2202-2206, 2013.

[5] C. Varekamp, and B. Barenbrug, “Improved Depth Propagation for 2D to 3D Video Conversion Using Key-Frames,” Proc. of 4th IET Conf. on Visual Media Production, pp.1-7, 2007.