以視覺為基礎之使用多重攝影機之即時手臂指向追蹤及辨識系統

Vision-based Real-time Pointing Arm Gesture Tracking and Recognition System using Multiple Cameras

簡敬宇(Ching-Yu Chien)

指導教授 ： 黃仲陵

國立清華大學/電機資訊學院/電機工程學系/碩士(2006年)

https://doi.org/10.6843/NTHU.2006.00133

摘要

由於人機介面的應用日益普及，包括手勢辨識、語音辨識、或是肢體語言辨識等等，都已經被廣泛研究並且應用在日常生活之中，其中以利用手勢作為輸入介面是最自然且直接的，因此手勢辨識的相關研究近年來已經有許多發展，而以手臂來指向的人機介面系統也有越來越多的研究及探討。在此篇論文中，我們發展出使用多重攝影機的手臂指向追蹤及辨識系統，主要是直接追蹤在三維空間中手臂上的兩個點，以這兩個點來代表空間中的指向線。在系統裡我們總共使用了三台攝影機來擷取影像，讓使用者在走路時，同時也能做出指向手勢。其中，影像平面和三維空間的座標轉換關係，我們利用了直接線性轉換（DLT）來求得，好處是不用預先得到攝影機之內部及外部參數。並利用這座標轉換的關係，結合使用三維參數之Particle Filter來達到手臂的追蹤，能夠有效的解決手臂被遮蔽的問題，並提升程式執行效率，最後將追蹤到的三維點投影到各影像平面上，擷取手臂形狀後，找出各影像平面上手臂之對應點，並重建三維之指向線，以此來微調手臂指向的方向，提高指向正確率。在此系統中，先定義好指向的目標物，且目標物並不一定必須出現在影像平面裡，系統執行速度約為6Hz，在對指向線之方向作微調的情況下，本系統之辨識率能達到90％。

關鍵字

手臂 ； 指向 ； 辨識 ； 追蹤

並列摘要

In this thesis, we develop a real-time arm pointing system. The main contribution of the system is using three cameras to track the pointing arm and identify several pointing targets in 3-D space. The system allows the user to make the arm pointing and the walking in a work space at the same time. The novelty of our method is directly tracking two 3-D points representing the pointing line in 3-D space and then refining the tracking results. We take advantages of Direct Linear Transformation (DLT) to extend the samples of particle filter to 3-D space. In our system, the pointing targets are not necessarily visible in any one of the three views. In the experiments, we show that our system will finish analyzing each frame of video in about 1/6 second. The pointing accuracy of our system is measured by 80 times of pointing test to eight designated 3-D targets by five users. The success rate of our system is above 90%.

並列關鍵字

arm ； pointing ； recognition ； tracking