無標誌擴增實境之實現-利用Kinect的觸摸人機介面設計

Kinect-Based Touch Interface for Markless AR

郭泰谷(Tai-Ku Kuo)

指導教授 ： 謝景棠

淡江大學/工學院/電機工程學系碩士班/碩士(2012年)

https://doi.org/10.6846/TKU.2012.00106

摘要

本研究提出利用Kinect垂直架設於桌面上所抓取之深度影像，經過多種處理後，產生一個類似觸控螢幕介面，讓使用者可以利用此介面進行繪畫，完成繪畫後，使用者便可以輸入此圖片之資料；本篇利用SVM訓練並分類得知此資料的類別，再將此資料對應之內建AR取出再放入Kinect彩色影像中的桌面上，使用者即可利用類似觸控螢幕之介面來控制AR，最後輸出一種可與使用者互動之無標記AR。在研究結果中顯示，我們可以訓練不同的繪畫影像，例如圓形、多邊形來做為顯示虛擬物件之基準，達到不用特定的標誌呈現3D 虛擬物件，於本系統中呈現出不錯之效果。但是如果使用者手位移速度太快，會提高系統之錯誤。未來希望以互動做為研究方向的重點，以增加更多AR之互動，並且提升繪畫部分的速度，達到寓教於樂等多重之目的。

關鍵字

人機互動 ； 立體視覺 ； 觸控螢幕介面 ； Markerless ； AR ； SVM ； Kinect

並列摘要

We develop an augmented reality (AR) environment with hidden-marker via touch interface using Kinect device and then also set up a touch painting game with the AR environment.
This environment is similar to that of the touch screen interface which allows user to paint picture on a tabletop with his fingers, and it is designed with depth image information from Kinect device setting up above a tabletop.
We incorporate support vector machine (SVM) to classify painted pictures which correspond to the inner data and call out its AR into the tabletop in color images information from Kinect device. Because users can utilize this similar touch interface to control AR, we achieve a markerless AR and interactive environment.

並列關鍵字

Human–Computer Interaction ； touch screen interface ； Markerless ； AR ； SVM ； Kinect

參考文獻

[11] 張量鈞，基於立體視覺之手掌位移辨識系統，淡江大學電機工程學系碩士論文，民國九十九年。

[25] 陳冠廷，基於Kinect之雙手位移辨識系統，淡江大學電機工程學系碩士論文，民國一百年。

[5] Hsi-chun Wang, “Innovative Image Display with the Integration of Infrared Digital Watermark and Augmented Reality,” Journal of Technology vol. 24 no. 3 p. 213-219, 2009.

[1] Joe Marshall, Tony Pridmore, Mike Pound, Steve Benford, and Boriana Koleva,“Pressing the Flesh: Sensing Multiple Touch and Finger Pressure on Arbitrary Surfaces,” LNCS 5013, p. 38–55, 2008.

[2] Andrew D. Wilson, “Using a Depth Camera as a Touch Sensor,” ITS’10, Saarbrucken, Germany, 2010.