一種簡易之動作辨識系統及其於「全肢體反應」英語教學互動系統之應用

A Simple Approach to a Human Action Recognition System and Its Application in an Interactive TPR-based English Learning System

蘇木春(Mu-Chun Su) ； 林紘毅(Hung-Yi Lin)

《前瞻科技與管理》 3卷2期 (2013/11) Pp. 15-27

https://doi.org/10.6193/JATM.2013.0302.02

摘要

人類的動作蘊含了極多的資訊，不同的動作各自代表了不同的企圖及狀態，因此，可被應用於許多方面。本論文將介紹一個以Kinect為基礎之動作辨識系統，藉由此動作辨識系統來實現「全肢體反應」英語教學互動系統。透過市面上常見之Kinect景深攝影機來抓取人體骨架資訊，之後，傳送到電腦端做辨識處理。本系統採用的特徵共分為兩類：第一類為人體關節的向量，為人體脊柱點至左手、右手、左腳以及右腳的向量，第二類的特徵為各關節向量之間的角度。擷取了有效特徵後，就採用動態時間校正演算法來動作分析及辨識。此系統被用來辨識二十二種不同的動作。動態時間校正演算法可達到97.3%的正確辨識率。此篇論文所提出之特徵可有效解決人體高矮胖瘦不同及朝向角度不同的問題。

關鍵字

數位學習 ； 擴增實境 ； TPR（Total Physical Response）教學 ； 動態時間校正演算法 ； 隱藏式馬可夫模型

並列摘要

Human actions imply much information. Different actions represent different attempts and states; therefore, human actions recognition may be applied to many aspects. This paper introduces a Kinect-based action recognition system. Based on the action recognition system, an interactive TPR-based English learning system is implemented. Via a Kinect depth sensor, human skeleton information can be captured and transmitted to a PC for further analysis and recognition. In this system, we propose two kinds of features: the joint vectors and the vectors formed by the connected lines between the human spine point and the two hands and feet. Then we adopt the dynamical time warping algorithm for action analysis and recognition. The performance of the proposed system was evaluated on the recognition of 22 different actions. The simulation results could achieve 97.3% correct recognition rate.

並列關鍵字

e-learning ； augmented system ； TPR learning ； time warping algorithm ； hidden Markov model

參考文獻

＜英語 970526 定稿＞，n.d.，《中華民國教育 部 》，（瀏覽日期：2012 年 6 月 10 日）。

＜ 教 學 方 法 ＞，n.d.，《 教 育 部 數 位 教 學 資 源 入 口 網 》，（瀏覽日期：2012 年 6 月 19 日）。

＜ Kinect for windows ＞，n.d.，《 微軟 》，（ 瀏 覽 日 期：2012 年 6 月 10 日）。

江明麗(2010)。全肢體反應教學法對國小資源班智能障礙學生英語聽說能力之教學成效(碩士論文)。國立臺灣師範大學特殊教育學系。

黃國祐、謝莉卿(2005)。國英雙語幼兒的詞彙學習策略和說話產生量。朝陽人文社會學刊。3(1)，131-172。