以資料驅動手勢辨識為基礎之三維模型互動操控系統

3D Models Manipulation Interaction System based on Data Driven Gesture Recognition

廖威軒

指導教授 ： 朱宏國

國立清華大學/電機資訊學院/資訊工程學系/碩士(2014年)

摘要

摘要
近年來對於使用者操作介面的需求日益增加，我們在這邊特別著重於手勢操控系統的研究。這類型的應用從基本平版手機中2D的操作，慢慢的延伸到了3D的智慧型電視或是遊樂設備上。在這篇論文中，我們提出了一個嶄新的使用者手勢辨識與互動系統。利用放在使用者前方的攝影機ASUS Xtion所提供之深度影像，我們可以加以分析並取得使用者手部的資訊。在這篇中，我們特別著重於手勢部分的影像分析，利用前置收集了大量影像，並使用機器學習之PCA、SVM等等的演算法，讓我們提出的這個演算法可以達到高準確度且即時的手勢辨識。在此同時，我們也設計了一套3D模型互動式系統，這是根據使用者所做出的手勢，我們把他加以分析整合後，將結果展現在3D模型上。我們的目標是讓使用者用最自然、最少量的手勢操控，在最短的時間內分析出來，並讓使用者感受到似乎是真的直接操控到這個模型。我們的系統提供了幾種基本的操控手勢，而在我們的研究中，絕大多數的操控都可以藉由這些手勢組合後產生。這些手勢分別是放大縮小、平移（深淺以及上下左右）和任意旋轉軸之旋轉。

關鍵字

3d model ； manipulation ； data driven

參考文獻

[2] Michael Van den Bergh, Luc J. Van Gool. Combining RGB and ToF cameras for real-time 3D hand gesture interaction. Workshop on Applications of Computer Vision (WACV), 2011.

[3] Peng Song, Wooi Boon Goh, William Hutama, Chi-Wing Fu, Xiaopei Liu. A handle bar metaphor for virtual object manipulation with mid-air interaction. Computer Human Interaction (CHI), 2012.

[4] Oscar Kin-Chung Au, Chiew-Lan Tai and Hongbo Fu. Multitouch gestures for constrained transformation of 3D objects. Eurographics, 2012.

[5] Lisa G. Cowan, Kevin A. Li. ShadowPuppets: supporting collocated interaction with mobile projector phones using hand shadows. Computer Human Interaction (CHI), 2011.

[6] Iason Oikonomidis, Nikolaos Kyriazia, Antonis A. Argyros. Full DOF tracking of a hand interacting with an object by modeling occlusions and physical constraints. International Conference on Computer Vision (ICCV), 2011.