基於感知理論偵測興趣區域與深度圖動態預測之研究

Motion Estimation of Depth Map Based on Perceptual Attention Region Detection

鄭鈞元(Chun-Yuan Cheng)

指導教授 ： 李佩君

國立暨南國際大學/科技學院/電機工程學系/碩士(2012年)

https://doi.org/10.6837/NCNU.2012.00200

摘要

由於三維立體電影的出現，三維立體電視及三維立體(3D)影像之消費性電子產品在近年來快速崛起，減少立體影像的資料以方便傳輸或儲存才能使所有的應用變的可行。近年來，主要的3D顯示技術可分成三大類顯示技術可分成三大類，分別為多視角彩色影像、多視角彩色影像加多視角深度圖、單視角影像加單視角深度圖等三種3D多媒體影像的方法。而在這三類當中，以資料傳輸與儲存設備的觀點而言，利用單視角影像加深度圖的方法，所需的傳輸資料量與儲存設備需求最低，
因此近年來，在3DVC(3D Video Coding Standard)這個標準裡面，制定了多個與深度圖編碼有關的方法，而在這個標準裡面，目前有個推薦流程，在這流程前端的編碼部分顯示，深度圖的預測是必需的，這個標準需要利用深度圖將一張單視角影像與其相關的深度圖來產生多視角影像。所以要產生高品質多視角影像需要依賴前端產生高品質的深度圖。然而在這標準裡面，希望可以和之前的編碼方式有相容性，所以制定了標準讓我們可以使用H.264/AVC或MVC這兩種方法去編碼單視角彩色影像。而就目前而言，深度圖的壓縮，通常都是由現行的2D視訊編碼標準(ex:H.264、MVC)編碼深度圖的部分。不過這樣的編碼複雜度會是原始的兩倍，如此對於視訊資料的即時傳輸有其困難性。
因此，本論文提出了一個對於單視角彩圖與深度圖可以有效提升編碼效率的解決辦法，本方法主要的目的在於降低編碼時間和提升編碼品質，在深度圖上，我們利用了3D立體感知興趣區域來決定我們需要在哪些區域重做動態預估的動作，然後為了讓編碼的時間再減少，本論文在這些區域內快速模式決定演算法去決定區塊需要哪些的候選模式，這演算法主要是拿鄰近區塊的動態向量變異度類型(MV Variance Type)來當決定的標準。
在實驗結果的部分，本論文提出之對深度圖預測的方法在預測準確率上，與3D Motion Estimation比較，PSNR的表現上升了6dB至11dB不等而SSIM也上升了0.02至0.04，而與分別利用H.264編碼於彩圖與深度圖的方法比較的話，編碼時間下降了50%-60%而資料量最大可下降到20%。而硬體方面，本論文利用Altera公司所開發之Quartus II軟體進行電路合成，所合成的電路只佔了Altera DE3-260驗證板上44%左右的邏輯使用率，電路面積不大，未來可以將功能電路進行IC下線的動作。

關鍵字

3D顯示技術 ； 3DVC ； H.264 ； 3D立體感知興趣區域 ； 動態向量變異度類型 ； PSNR ； SSIM

並列摘要

In recent years, there are three popular ways to generate the 3D video, which includes Multi-view video, Multi-view video plus depth maps, and a single view video plus depth map. From the viewpoint on data transmission rate and the requirement for storage, the 2D plus depth map is the best choice. Therefore, this thesis proposes a new solution to improve the coding efficiency of depth map in 2D plus depth map of 3D video coding. The proposed algorithm by using 2D MV sharing to depth encoding is achieved to reduce coding time and to enhance the encoding quality on 3DV coding which uses H.264 standard to code both color image and depth map. The method uses 3D perceptual attention regions to determine re-motion estimation MBs in depth map. Moreover, to reduce the coding time for the re-motion estimation, the proposed algorithm achives a fast mode decision MBs by variance type to select coding mode. In addtion to the proposed algorithm, hardware architecture is also proposed in this thesis. The hardware architecture includes five modules: Sum_MB_Depth module, Gradient_MB_Depth module, SAD_Skip module, Variance module, and Comparator module. The thesis test and verify the hardware architecture by the wave simulation software for the functionalities of the proposed software algorithm.
In the experimental result, it is proved that the prediction result with proposed method is better by comparing the performance of PSNR. With proposed method, it raises the PSNR from 6 dB to 11 dB and the SSIM from 0.02 to 0.04 compared with the MV-sharing. With comparison to the H.264, the encoding time descends about 50% to 60% and the maximum descending of amount of data is about 20% for encoding the depth map. The circuit synthesis is implemented under the circumstance of Quartus II demonstration software which is developed by Altera Corporation. The gate count usage only occupies 44% of the total resource on the Altera DE3-260 demonstration board. Because the area of the synthesized circuit is not so large, it can be put into the lay-out process to become Integrated Circuit.

並列關鍵字

3D display technique ； 3DVC ； H.264 ； 3D perceptual attention region ； variance type ； PSNR ； SSIM

參考文獻

[1] P. Kauff, N. Atzpadin, C. Fehn, M. Muller, O. Schreer, A. Smolick and R. Tanger, “Depth map creation and image-based rendering for advanced 3DTV services providing interoperability and scalability,” in Preceedings of Signal Process: Image Communication, Special Issue on 3DTV, pp. 217-234, Feb. 2007.

[2] A. Kubota, A. Smolic, M. Magnor, M. Tanimoto, T. Chen, and C. Zhang, “Multiview Imaging and 3DTV,” in Preceedings of IEEE Signal Processing Magazine, volume 24, no. 6, pp. 10-21, Nov. 2007.

[3] A. Smolic’ and McCutchen, “3DAV Exploration of Video-Based Rendering Technology in MPEG,” IEEE Trans. on Circuits Syst. Video Technol., Special Issue on Immersive Commun., volume 14, no. 9, pp.348-356, March 2004.

[4] http://zh.wikipedia.org/wiki/%E9%98%BF%E5%87%A1%E8%BE%BE July, 2012

[5] http://3c.sogi.com.tw/ July, 2012