使用二維攝影機陣列訊號合成自由視點視訊

Free Viewpoint Video Synthesis using 2-D Camera Array Signals

徐崇毓(Chung-Yu Hsu)

指導教授 ： 杭學鳴

國立交通大學/電機學院/電子工程系所/碩士(2009年)

https://doi.org/10.6842/NCTU.2009.00432

摘要

立體影像技術已逐漸成為多媒體領域中的研究主流，而自由視點視訊更是其中的重要議題之一。自由視點的目的是從攝影機陣列所擷取的影像來產生可以任意選擇虛擬視點的影像訊號。在合成自由視點視訊上主要有兩個步驟:(1)從攝影機陣列所擷取的影像來重建三維資訊，(2)合成使用者視點所看到的虛擬視訊。
現今，大部分的自由視點視訊系統都專注於一維攝影機陣列所記錄的影像資訊，且研究內容也多以影像為主，而非視訊。我們希望將研究成果拓展到二維攝影機陣列與影像序列(視訊)上。由於資料大量增加，除了一般的擷取資訊精確度的問題外，我們也需要同時考慮計算複雜度的問題。
在本論文中，我們提出三個演算法：(1)使用二維攝影機陣列進行影像視差估測，(2)棋盤式視差估測及影像合成，以及(3)使用移動補償技術進行合成自由視點視訊。首先，我們使用四台不同位置攝影機來改善視差估測的精確性。由於計算複雜度的增加，我們只處理在棋盤點上的攝影機所記錄的資訊；換言之，對於棋盤點之間的攝影機視差圖，我們利用視差圖的平移特性以及參考鄰近攝影機影像的視差來進行估測。因此我們省下了將近一半的計算量，且其結果不亞於每一台攝影機都使用原本估測方法所得到的結果。因為一連串在時間上接近的影像彼此間具有強大的關聯性，我們引進了GoP的概念，對每個GoP的第一張畫面優先進行處理。為了降低計算量，我們接著使用移動向量來估測GoP中剩餘畫面的視差圖。進行移動估測時，我們也同時加入了視差資訊來提升移動估測的準確性。經由實驗結果顯示，計算時間可以降為原本的三分之一，且合成影像的品質僅減少0.05dB。

關鍵字

攝影機陣列 ； 自由視點視訊 ； 視差估測

並列摘要

無資料

並列關鍵字

camera array ； free viewpoint video ； dusparity estimation

參考文獻

[3]M. Tanimoto, “FTV (free viewpoint television) creating ray-based image engineering,” IEEE Int. Conf. Image Process., Genova, Italy, 2005.

[4]M. Tanimoto, “FTV (free viewpoint television) for 3-D scene reproduction and creation,” IEEE Conf. Comput. Vision Pattern Recog., New York, NY, 2006.

[6]M. Tanimoto, “Overview of free viewpoint television,” Signal Processing: Image Communication, vol. 21, no. 6, pp.454-461, July 2006.

[8]Baker, H. and R. Bolles, “Generalizing epipolar-plane image analysis on the spatiotemporal surface,” in DARPA Image Understanding Workshop, Cambridge, MA. April 6-8, pp. 1022-1030.

[9]T. Naemura and H. Harashima, “Real-Time Video-Based rendering for augmented spatial communication,” Proc. VCIP, vol. 3653, SPIE Press, Bellingham, Wash., 1999, pp. 620-631.