手指移動擷取之於多點式觸控之應用

Finger Motion Extraction for Multi-touch

林晏慶(Yan-Ching Lin)

指導教授 ： 陳文進

國立臺灣大學/電機資訊學院/資訊工程學研究所/碩士(2010年)

https://doi.org/10.6342/NTU.2010.03385

摘要

在現今的人機互動研究上，對於人類手勢的判斷，在學術界有不少的研究。大多有關手勢判斷的應用，多是模型為基準的系統。利用建立手勢的資料庫，加上機械學習還有分類器的應用，達到準確的手勢辨認。不過在現存的系統中，大多以手勢當做互動的依據，卻少有以手指移動的方向以及位移的大小來當做一個與電腦互動的工具。

在本論文中，我們利用視訊做為一個輸入裝置。我們不建立手勢模型資料庫，因為我們預期使用者可能會有許多不一樣的手勢來利用手指與電腦互動。若是再使用手勢模型資料庫的情形下，出現了一個我們沒有先預期的手勢，就要重新建立手勢模型資料庫。這對使用者來說是非常麻煩的一件事情。在這篇論文中，我們首先利用膚色判別，先抓取畫面中膚色的區塊。我們假設使用者在視訊前面使用的時候，手部通常為最大的膚色區塊，藉此找出手的輪廓。再經一些觀察，以及手的特性，我們可以找出可能為手指的特徵點。並且在尋找出特徵點以後，利用K-means clustering的分群技術，將特徵點分群，以表示手指。然後利用自己推算出來的公式，來計算在前後一張畫面中，點與點之間的重量(weight)，進而決定哪兩個點是互相對應的。最後再算出手指的位移向量，而這些向量可以被拿來利用在多點觸控的環境上，甚至是其它方面的應用。

在系統實做的部分，我們在視窗中顯示手指即時的移動向量，來呈現最後的結果。

關鍵字

膚色判別 ； 手掌偵測 ； 位移向量 ； 多點觸控

並列摘要

In recent years, new concept input devices are developed. Compared to traditional input devices, keyboard and mouse, new-generation input devices give human a novel way to interact with computers. Some of new generation input device provides the body motion detection, which provides players a surprise. But when we want to use our hand to communicate with computers, the existing systems recognize the hand gesture as a signal or ask users to wear auxiliary to detect fingertips. Users could not use only the fingertip motion to interact with computers.
Nowadays, most notebooks equip with a webcam, and we want to use the webcam to capture users’ fingertips and extract the motion to communicate with computers. To achieve this goal, the system first detects the skin color objects. With the skin color objects, the system determines which one is corresponding to hand. After hand detec-tion, the system now has to find the feature points that descript fingertips. Since the number of feature points on a fingertip is not equal to 1, the system has to group the feature points into clusters and then combine the points in the same cluster. With evaluating the weight between each point in successive frame, the system could know how to track the fingertips and get the motion of fingertip. The motions then could be used to do some multi-touch action.

並列關鍵字

skin color detection ； hand detection ； motion extraction ； interaction

參考文獻

[1] R. Lockton and A.W. Fitzgibbon. Real-time gesture recognition using deterministic boosting.BMVC 2002

[2] Mathias Kolsch and Matthew Turk. Robust Hand Detecion. In Proc. IEEE Intl. Conference on Automatic Face and Gesture Recognition, May 2004.

[3] Pavlovic, V., Sharma, R. & Huang, T. Visual interpretation of hand gestures for hu-man-computer interaction: A review. IEEE Trans. Pattern Analysis and Machine In-telligence., July, 1997. Vol. 19(7), pp. 677 -695.

[5] D. Chai, A. Bouzerdoum. A bayesian approach to skin color classification in YCbCr color space. IEEE Proceedings on TENCON 2000, Vol. 2, pp. 421-424, Sept. 2000.

[7] M. Rehg and T. Kanade. Digiteyes: vision-based hand tracking for human-computer interaction. IEEE workshop on motion of non-rigid and articulated objects， Nov. 1994， pp. 16-22.