基於多層次背景 Sprite 模型建立之半自動2D轉3D視訊技術

從早先 3D 電影與 3D 電視的陸續萌芽，到如今當紅的 VR 虛擬實境，市場上對於 3D 內容的需求日益迫切。目前 3D 視訊產業面臨著高品質 3D 視訊內容嚴重匱乏的問題，因為現有之 2D 轉 3D 方法中，尚未出現足堪兼顧效能與品質之技術。全自動 2D 轉 3D 的方法最能減少人工成本，但其產生之深度圖品質較差，在這高解析度當道的年代必然無法勝任，而半自動方法可以在人工成本與視訊品質方面取得平衡，為理想之做法。本論文提出基於多層次背景 Sprite 模型建立的半自動 2D 至 3D 轉換技術，將視訊內容分為前景與背景，分開產生深度資訊後再整合為深度圖。首先以人工與軟體輔助進行關鍵畫面前背景分割及前景深度圖繪製，再利用標籤傳遞與圖像分割方式取得非關鍵畫面前背景分割資訊。對前景區域，可透過區塊比對方式，將人工繪製的關鍵畫面前景深度資訊傳遞至非關鍵畫面。各時刻畫面的背景區域可整合為多層次背景 Sprite 模型，此模型與非關鍵畫面前背景分割結果能夠利用彼此間對應關係互相修正。接著利用人工對此 Sprite 模型繪製背景深度圖，即可利用對應關係將所繪製深度資訊對應回各時刻背景區域。最後將各畫面前景與背景的深度資訊整合起來即得到全影像序列完整的深度圖。實驗結果顯示，本論文提出的半自動 2D 轉 3D 技術，其多層次背景 Sprite 模型能有效克服場景深度變化較複雜及攝影機運動幅度較大的情形，完整記錄各畫面之背景資訊，並對攝影機運動變化做出相對應之深度修正。而非關鍵畫面與 Sprite 模型間利用對應關係互相修正，能有效提升前/背景分割結果，使得後續需要人工修正深度圖的機會大為減少。

關鍵字

深度傳遞；立體視訊轉換；關鍵畫面

並列摘要

This paper presents the 2D to 3D conversion technology based on background multi-sprite model, the video is divided into foreground and background, and separately through different algorithms to generate the depth information and combine to the depth map. First, we segmentation key-frame to foreground and background by graph-cut, and using label propagation and GMM to get the non key-frame foreground/background segmentation result.In foreground location, we using block matching to propagation foreground depth map from key-frame.In background, we combine the background at all frames into multi-sprite model, after user draw the depth map of the model, we can get the background depth map at all frames. Finally, we combine foreground and background depth map into the final depth map.

並列關鍵字

Sprite ； key-frame

參考文獻

[1] Z. Li, X. Xie, and X. Liu, “An Efficient 2D to 3D Video Conversion Method Based on Skeleton Line Tracking,” Proc. of IEEE 3DTVCON, pp. 1-4, Potsdam, Germany, May 2009.

[2] C. Wu, Er Guihua, X. Xie, Tao. Li, X. Cao, and Q. Dai, “A Novel Method for Semi-automatic 2D to 3D Video Conversion,” Proc. of IEEE 3DTVCON, pp. 65-68, May 2008.

[3] Joonsoo Kim, Yoonsik Choe, and Yongoo Kim, “High-Quality 2D to 3D Video Conversion Based On Robust MRF-Based Object Tracking and Reliable Graph-Cut-Based Contour Refinement,” Proc. of IEEE Int'l Conf. ICT Convergence, Seoul, pp.360-365, Sept. 2011.

[4] Wen-Nung Lie, Chun-Yu Chen, and Wei-Chih Chen, “2D to 3D Video Conversion with Key-frame Depth Propagation and Trilateral Filtering,” IET Electronics Letters, Vol.47, No.5, pp.319-321, March 2011.

[5] Guo-Shiang Lin, Jian-Fa Huang, Wen-Nung Lie, “Semi-Automatic 2D-To-3D Video Conversion Based On Depth Propagation From Key-Frames,”Proc. of IEEE Int’l Conf. on Image Processing (ICIP) ,Melbourne, pp.2202-2206, 2013.

國際替代計量

基於多層次背景 Sprite 模型建立之半自動2D轉3D視訊技術

未授權

主題瀏覽