應用多感測器做為行動虛擬實境遊戲輸入方法之研發

廖憲正 ； 江偉銘 ； 蔡貴鈐 ； 陳柏年 ； 蔣益庭 ； 翁于堯 ； 鄭育鎔 ； 胡智豪 ； 巴白山 ； 楊孟哲

《NCS 2017 全國計算機會議》 2017 (2018/01) Pp. 506-510

https://doi.org/10.29428/9789860544169.201801.0096

摘要

本研究嘗試以全身動作做為行動虛擬實境遊戲的操控方式，提供給玩家更具沉浸式的體驗。我們初步擷取頭（頭戴式顯示裝置）與手（手持控制器）之動作感測訊號來進行動作辨識以操控遊戲中之角色。為了達到上述目的，我們開發了一套動作辨識開發套件，此工具可讓開發者透過三個步驟來將以慣性測量單元（Inertial measurement unit; IMU）為基礎之動作偵測功能添加於行動虛擬實境應用中，如遊戲、社交型虛擬實境（Social VR）等。以利用手勢操控遊戲角色之應用為例，三個步驟: (1)20人內資料收集、(2)模型訓練與 (3)模型佈署（Deployment）總共所需時間可縮短至3天，大幅地提昇以動作操控為基礎的虛擬實境應用開發速度。而由頭手結合之動作模型的測試結果來看，多感測器不但在辨識動作上可以得到高正確率，且可讓使用者得到更具沉浸式的體驗。

關鍵字

虛擬實境 ； 動作偵測 ； 慣性測量單元 ； 機器學習 ； 深度學習

並列摘要

This work investigates the possibility of using full-body movements as an input method for mobile virtual reality games in order to provide players immersive experiences. In this preliminary study, we use sensor data of IMUs from both head (a mobile phone in a VR headset) and one hand (a controller) to recognize players' movements. We develop a toolkit to simplify procedures of adopting IMU-based movement recognition in VR applications into three steps. For example, to develop an IMU-based gesture control VR game using our toolkit, the three steps including (1) collecting 20 subjects' gesture data, (2) training gesture models and (3) deploying models into mobile devices could be done in three days. Thus the toolkit extremely shortens the entire development time. According to the testing results of the full-body (head with hand) movement model, the multiple sensors data benefit movement recognition and could bring players more immersive experiences.

並列關鍵字

Virtual reality ； Movement recognition ； Inertial measurement unit ； Machine learning ； Deep learning