基於影像之實體使用者介面系統研究

本論文提出一種新的技術是以實體使用者介面(TUI)為概念並透過攝影機與投影機搭配(Camera-projector)之手勢觸控系統。這個提案系統之投影機與攝影機能夠在任何平面上運行，此外使用者也僅需使用手勢來操控電腦。本系統主要由四大部分組成，分別為投影影像擷取、Planar Homography、手指擷取和有限狀態機(FSM)分析手勢。在電腦視覺過程當中，如透過攝影機擷取影像，往往會因為攝影機位置和角度不同，帶來環境之雜訊導致擷取之影像不完整；而投影機也易受到環境之光線影響造成投影畫面不易辨識。有鑑於此，我們透過改良之投影影像擷取演算法與Planar Homography之搭配，使得投影機與攝影機之影像畫面能夠互相結合並降低雜訊，進而擷取完整投影影像。手指擷取部分我們主要以基於手指陰影為基礎，進行手指指尖擷取，指尖擷取演算法搭配本論文所提出之有限狀態機(FSM)我們共定義了7種手勢，這個提案能夠快速的計算出手指指尖的位置並且針對有限狀態機之定義給予相對的回應。系統實驗部分，本系統之平均有32.25FPS的畫面更新率，在配合使用者行為與系統環境開發下，本系統亦留有其計算能力，我們也提出整體演算法之可行性，整體步驟明確，相信未來可以以此概念為基礎導入至其他人機介面或互動介面之中。

關鍵字

使用者介面； TUI ；電腦視覺；手指擷取； Camera-projector

並列摘要

In this thesis, we present a novel technique for TUI system which consists of a projector and a camera only. The proposed system can be used in arbitrary flat surface and under any circumstances. This proposed system allows user to interact with computer only by hand gestures. The contributions of the proposed system includes the extraction of display screen from the RGB-camera captured image, shadow-based detection for fingertips findings, and a fast and reliable FSM grammar for determining the finger gesture. A prototype system is built to validate the proposed techniques and an experiment is shown in the last.

並列關鍵字

User Interface ； TUI ； computer vision ； finger tracking ； camera projector

參考文獻

[1] Bolt, R. A., ““Put-that-there”: Voice and gesture at the graphics interface”, ACM SIGRAPAPH, 1980.

[2] Cao, X., Balakrishnan, R., “Interacting with dynamically defined information spaces using a handheld projector and a pen”, ACM UIST, 2006.

[3] Chih-Yuan, Lee, "Digital Presentation Space: a Tangible Framework in VR CAVE", Master Thesis, National Chiao Tung University, 2008.

[6] Fishkin, K.P., “A Taxonomy for and Analysis of Tangible Interfaces”, Pervasive Ubiquitous Computing, Vol. 8, pp. 347-358, 2994.

[7] Gonzalez, R.C., Woods, R.E., “Digital Image Processing”, 2nd ed., 2002.

國際替代計量

基於影像之實體使用者介面系統研究

未授權

主題瀏覽