整合 3D 視訊與 3D 虛擬模型之互動式擴增實境技術

Integration of 3D video and 3D virtual models for interactive augmented reality

許宏齊(Hsu Hungchi)

指導教授 ： 賴文能

國立中正大學/工學院/電機工程學系/碩士(2012年)

摘要

近年來，『互動式』的多媒體技術相當地熱門，相關的國際知名研討會所發表的技術與日俱增，電腦視覺與圖學兩大領域在技術上正在進行整合。未來『互動式』的多媒體將不再只是注重於使用者與多媒體播放裝置 (視訊系統或螢幕) 的互動而是使用者也可以與系統中的虛擬物體甚或遠端的另一使用者進行互動，稱此類的技術為擴增實境 (Augmented Reality，AR)。

本論文針對互動式的遊戲以及教學等應用，強調以擴增實境的概念，透過區域子系統進行各使用者的現場 3D 視訊以及互動資料的擷取，與虛擬 3D 場景及物體整合，配合 3D 顯示輸出，建構一個互動式 3D 擴增實境系統。

本論文先建立 3D 視訊擷取系統，利用一架深度攝影機與彩色攝影機作為3D視訊擷取裝置，由於兩者的解析度不同，所以要先將深度影像轉換成高解析深度影像，因為深度攝影機容易受到拍攝物體材質的影響，所以本文提出了深度影像的前處理與後處理。使用者的3D深度資訊被轉換到預先由 3D 繪圖軟體所建立的虛擬場景中，其中，我們將 3D 視訊以三維網格形式進行傳送，最後系統整合三維網格模型及虛擬背景/物體後將會輸出交錯式視訊到 3D 顯示器上，使用者可以透過 3D 顯示器了解自己處在虛擬空間中的位置而達成真實的 3D 互動。

關鍵字

深度攝影機 ； 互動式多媒體 ； 虛擬實境 ； 擴增實境 ； 3D 視訊

參考文獻

[1] Gregorij Kurillo, Edgar Lobaton, Tony Bernardin, Oliver Kreylos, Ruzena Bajcsy, and Klara Nahrstedt, “High-Quality Visualization for Geographically Distributed

3-D Teleimmersive Applications,” IEEE Trans. on MULTIMEDIA, Vol.13, pp. 573-584, 2011.

[3] Paul Milgram, Haruo Takemura, Akira Utsumi, and Fumio Kishino, “Augmented reality: a class of displays on the reality-virtuality continuum,” Telemanipulator

[4] Ronald T. Azuma, “A survey of augmented reality,” Presence: Teleoperators and Virtual Environments, pp. 355-385,Aug. 1997.

[5] Maurizio Forte, and Gregorij Kurillo, “Cyberarchaeology Experimenting with Teleimmersive Archaeology,” Proc. of IEEE Int’l Conf. on Virtual Systems and