基於移動物件偵測實現二維對三維視訊轉換技術與晶片設計

Chip Design and Implementation of Two Dimensional to Three Dimensional Video Conversion Technology Based on Motion Object Detection

李宗熹(Zong-Si Li)

指導教授 ： 范育成

國立臺北科技大學/電資學院/電腦與通訊研究所/碩士(2012年)

摘要

隨著三維立體影像裝置的普及化，不難想像立體顯示的時代已經來臨了！然而為了能有效解決三維影像內容物不足的困境，由ATTEST（Advanced Three-dimensional Television System）組織提出了使用參考影像及對應之深度影像來取代原本的三維影像內容物，如此一來不僅能解決目前立體內容物不足的問題，同時還能將傳統的二維影像都轉換為三維影像的內容物，讓消費者在使用上能更佳彈性，也可以帶給一般影片增添不少的樂趣。
二維對三維轉換技術中，雖然目前已有不少關於深度影像建構的文獻研究，但是大多數都是針對場景的情況下所提出的標準，因此本論文提出了著重於「基於移動物件偵測實現二維對三維視訊轉換技術」的研究，此研究主要是採用靜態攝影機來實現，首先，利用物件偵測來取得移動物件以及移動向量的資訊，同時將取得的移動物件透過深度建構得到初始的物件深度影像，並依據移動物件的移動速度及方向性來建立移動向量表，最後我們提出了利用初始的深度影像以及移動向量表，做適當的深度參數調整的處理方式，如此不僅能考慮到移動物件的變化量，更能有效的提昇物件深度的準確性，除此之外，為了要達到即時上的處理，因此將演算法透過硬體架構設計的改良，依此來實現即時處理的數位系統晶片，希望能藉由演算法來提昇移動物件深度的生成。

關鍵字

立體影像 ； 深度影像 ； 移動物件

並列摘要

Although more and more two dimensional to three dimensional video conversion technologies are proposed, three dimensional contents are still not rich enough to satisfy the future market. There is a rising demand on new techniques for depth conversion. In this paper, the proposed method is based on object detection to analysis the monoscopic video. In the video analysis process, we use object information to generate the initial object depth image by object depth gradient, and through motion detection to creating motion vector table by motion vector. Then, in order to fill the correct depth value of video, we use adaptive depth fusion to adjust depth value through object depth gradient and motion vector table. Finally, in order to implement systematic real-time communication, we use hardware design to implement depth generation system for real-time processing. In this thesis, we achieve chip design and implementation of two dimensional to three dimensional video conversion technology based on motion object detection.

並列關鍵字

Stereo Image ； Depth Image ； Motion Object

參考文獻

[7]N3DS Posts Record Sales Figures, http://gadgetmania.com/2011/04/n3ds-posts-record-sales-figures/

[11]P. Kauff, N. Atzpadin, C. Fehn, M. Muller, O. Schreer, A. Smolic, and R. Tanger, “Depth Map Creation and Image-Based Rendering for Advanced 3DTV Services Providing Interoperability and Scalability,” Image Communication, vol. 22, no. 2, Feb. 2007, pp. 217-234.

[12]C. Fehn, “Depth-Image-Based Rendering (DIBR), Compression and Transmission for a New Approach on 3D-TV,” in Proc. of SPIE Stereoscopic Displays and Virtual Reality Systems XI, San Jose, California, USA, Jan. 19-22, 2004, pp. 93-104.

[14]龔毓婷，裸眼式三維立體顯示發展系統，碩士論文，國立台北科技大學電腦與通訊研究所，台北，2010。

[18]Knorr, S., Smolic, A., and Sikora, T., “From 2D-to Stereo- to Multi-view Video,” 3DTV Conference, 2007, pp. 1-4.