基於彩色與深度影像之三維視訊傳輸錯誤隱藏技術

Error Concealment for 3D Video Transmission Based on 2D Color plus Depth Images

林冠華(Guan-Hua Lin)

指導教授 ： 賴文能

國立中正大學/工學院/電機工程學系/碩士(2012年)

摘要

隨著生活水平逐漸提升，越來越多人注意到 3D 視訊多媒體之應用，3D 視訊已經是未來的趨勢。由於 3D 視訊資料龐大，勢必經過編碼才能進行傳輸。然而在網路傳輸頻寬有限的條件下，封包遺失或錯誤的情況將更為常見，在傳輸發生錯誤時將造成畫面解碼失敗與連帶的錯誤蔓延。為了降低錯誤蔓延的影響，必須透過錯誤回復 (Error Resilience) 或錯誤隱藏 (Error Concealment) 技術將部分遺失的畫面回復至一定品質，以降低錯誤蔓延所造成的影響。
3D 視訊編碼時為了有較高的壓縮率，通常以每張畫面為單位封裝為一個封包，視訊傳輸過程中封包遺失將導致該張畫面解碼錯誤。本論文探討在 V+D 編碼傳輸條件下解碼端的錯誤隱藏技術，我們對於不同的錯誤形式使用不同的錯誤隱藏技術，並利用彩色與深度序列之相關性，有效地利用另一序列資訊輔助重建出錯誤畫面。對於彩色序列的錯誤隱藏，我們對前面已正確解碼的彩色畫面移動向量進行前處理並偵測物體的遮蔽情況，再以移動向量外插進行錯誤隱藏，錯誤隱藏過程中針對不同的遮蔽情況將採用不同程度的深度資訊輔助；對於深度序列的錯誤隱藏，我們以彩色畫面移動向量對深度進行移動補償的畫面為基礎，應用我們提出的雙向 BMA 演算法，並以彩色畫面資訊為輔助進行深度錯誤隱藏。
實驗結果顯示，本論文提出之方法可以在畫面錯誤時有效地重建彩色與深度資訊，相較於其他文獻方法，本文方法在彩色畫面錯誤隱藏的 PSNR 提高了 0.33 ~ 1.43 dB，而深度錯誤隱藏在深度資訊精確的序列可以達到 3.69 dB 的增益。

關鍵字

深度圖 ； 3D 視訊傳輸 ； 錯誤蔓延 ； 錯誤隱藏

並列摘要

無資料

並列關鍵字

Depth Map ； 3D Video Transmission ； Error Propogatiom ； Error Concealment

參考文獻

[1] T.-Y. Chung, S. Sull, and C.-S. Kim, “Frame Loss Concealment for

Stereoscopic Video based on Inter-View Similarity of Motion and Intensity difference,” Proc. IEEE Int’l Conf. on Image Processing (ICIP-2010), Hong Kong, China, 2010.

[3] Chaminda T.E.R. Hewage, S. Worrall, S. Dogan, and A.M. Kondoz, “Frame Concealment Algorithm for Stereoscopic Video Using Motion Vector Sharing,” Proc. of IEEE Int’l Conf. On Multimedia and Expo (ICME-2008), Hannover, Germany, June 2008.

[4] Chaminda T.E.R. Hewage and Maria G. Martini, “Joint Error Concealment Method for Backward Compatible 3D Video Transmission,” Proc. of IEEE Int’l Conf. on Vehicular Technology, San Francisco, U.S.A, Sept. 2011.

[6] Tae-Young Chung, Sanghoon Sull, and Chang-Su Kim, “Frame Loss Concealment for Stereoscopic Video Plus Depth Sequences,” IEEE Trans. on Consumer Electronics, Vol.57, No.3, pp.1336-1344, Aug. 2011.