視覺骨架追蹤在體感遊戲軟體的應用

Vision Skeleton Tracks Fitness Applications at Somatosensory Game

邱德明(Te-Ming Chiu)

指導教授 ： 范憶華

中原大學/工學院/機械工程研究所/碩士(2018年)

https://doi.org/10.6840/cycu201800081

摘要

近年來，具有身體骨架解析是熱門的研究領域，因為有助於人機互動的應用。基本上現有的深度體感攝影機檢測人體骨架和姿勢相當的成熟，但是微軟遊戲機所推出用來作為體感操作用的深度感應器，Kinect V2載配RGB攝影機與紅外線深度感測器，讓開發者可以得到使用者肢體資訊與影像，基礎的功能包含人體辨識、追蹤、骨架追蹤、3D Model建立等，這些都是建立在紅外線深度度感測器所得到的Depth Map(深度圖)。
本研究利用微軟開發的Kinect V2 骨架追蹤技術，搭配微軟的Visual Studio 2017 自行編寫的C#程式碼，在不同距離與角度實驗項目下找出最佳的辨識率與準確率。
再以上述的實驗結果得知在2公尺距離下舉啞鈴在正面的角度，而伏地挺身和仰臥起坐在側面的角度下找到最佳的辨識成功率。再以遊戲引擎Scratch以舉啞鈴、伏地挺身和仰臥起坐，三種常見的健身方式實驗，製作簡單的體感健身遊戲。根據網路上健身部落客提供的資料，來實施簡單卻標準的健身應用。

關鍵字

深度體感攝影機 ； 骨架辨識 ； 感遊戲.

並列摘要

In recent years, having body skeleton resolution is a hot area of research because of the usefulness of human-computer interaction applications. Basically, the existing depth-of-body camera detects human skeleton and posture quite mature, but the introduction of Microsoft game consoles used for somatosensory depth sensor, Kinect V2 with RGB camera and infrared depth sensor, so that the development The user can get the body information and images, and the basic functions include human identification, tracking, skeleton tracking, 3D Model establishment, and so on. All these are based on the Depth Map obtained by the infrared depth sensor.
In this study, using the Kinect V2 skeleton tracking technology developed by Microsoft and the C # code compiled by Microsoft Visual Studio 2017, the best identification and accuracy are found under different distance and angle experiments.
Again with the above experimental results at a distance of 2 meters lifting the dumbbell at a positive angle, while the pushup and sit-ups at the side angle looking for the best recognition success rate. Know the dumbbells at a 2-meter distance from the front of the angle, while the push-ups and sit-ups in the side angle to find the best recognition success rate. Then to the game engine Scratch to lift dumbbells, pushups and sit-ups, three common fitness mode experiments, making simple bodybuilding fitness games. According to the information of the National Health Council, to implement a simple but standard fitness applications.

並列關鍵字

Microsft Kinect Sensor ； depth camera ； skeleton recognition ； somatosensory game.

參考文獻

[4] 林哲亘，基於深度和彩色影像的手勢辨識系統，民國104年7月，中原大學電子工程研究所碩士論文。

[6] 呂紹廷，以Kinect V2結合Unity3D體感遊戲之敏捷度訓練成效評估，民國106年7月，中原大學通訊工程碩士學位學程碩士論文。

[2] 蔡仕晟，擬人機械手臂基於影像之適應性抓取設計，民國100年10月，國立交通大學電控工程研究所碩士論文。

[3] 陳逸軒，體感操作簡報系統使用性研究，民國98年7月，國立臺北教育大學數位科技設計學系碩士論文。

[7] 高嘉駿，以Kinect結合體感遊戲之洗澡訓練成效與動作評估，民國105年7月，中原大學通訊工程碩士學位學程碩士論文。