低成本Kinect輔助學習系統之設計

Design a Low-Cost Kinect-Assisted Learning System.

蔣仁烽(Ren-Feng Jiang)

指導教授 ： 涂世雄

中原大學/電機資訊學院/電機工程研究所/碩士(2016年)

https://doi.org/10.6840/cycu201600567

摘要

本論文的目的是設計一個低成本的輔助學習系統，利用使用者手部的移動和聲音來控制PowerPoint、空白頁面、和錄音。由於Kinect 可以很簡單的得到深度資訊和骨架資訊，因此利用這些資訊來模擬滑鼠的運作。此外，我利用了WPF和WinForm 來設計了一個多功能的介面，這個介面包含了語音辨識的部份。因此，使用者可以不需要傳統的控制器就利用此系統來輔助學習並且增進使用者的讀書效率。

本論文分為五個部分，第一部分介紹了開發環境、設備介紹、和系統架構。第二部分是系統介面的設計，使用了WPF和WinForm 來設計一個對使用者友善的界面，此介面包含了四個主要的部分，控制類型、功能選擇、Kinect深度資料圖、還有截圖存檔功能。第三部分是系統設計，此部分會介紹使用深度資訊和骨架資訊的滑鼠模擬事件、系統功能執行、語音辨識。第四部分是實驗結果，在這部份會詳細的顯示整個系統的功能，包含了畫筆功能、清除功能、截圖、還有語音辨識功能。最後一部分討論Kinect v1的技術限制和比較Kinect v1和Kinect v2的差異。

本論文的貢獻為下列幾點：
1.本系統將體感技術和語音辨識整合成一個完整的系統，使用者可以利用此系統來增加學習效率。
2.大部分的功能都可以利用聲音來控制，這使的所有的使用者都可以簡單的操作此系統並且不需要額外的控制器。
3.本系統可以利用使用者自己建的單字來進行語音辨識，因此使用者可以利用此功能來進行語音辨識。
4.本系統不只是一個輔助學習系統更是一個輔助教學系統，使用者可以使用此系統來進行簡報報告甚至當成錄音機使用。

關鍵字

輔助學習 ； 骨架追蹤 ； 語音辨識

並列摘要

The purpose of this thesis is to design a low-cost kinect-assisted learning system which can utilize users’ hands movement and voice to control PowerPoint, blank page, and record. Because Kinect can get depth and skeletal information easily, I use the information to simulate the operation of mouse. Additionally, I use WPF and WinForm to design a multifunctional interface combined with speech recognition. Therefore, the users can use the system to assist them to learn and promote their learning efficiency without traditional controllers.

There are five main parts in this thesis. The first part introduces the system including development environment, display of development equipment, and system architecture. The second part is the design of system’s interface. It Uses WPF and WinForm to design a user-friendly interface. The interface contains four main parts: control type, function selection, the information obtained by Kinect, and screenshot function. The third part is system design. This part introduces the simulations of mouse by the depth and skeletal information, system function implementation, and speech recognition. In the fourth part, we will show the results of the system. It will display all the functions of the system in detail including brush function, clear function, screenshot, and speech recognition. The last part introduces the technical limitations about Kinect v1 and simply compares the difference of Kinect v1 and Kinect v2.

並列關鍵字

Kinect ； Learning assistant ； Skeletal tracking ； Speech recognition

參考文獻

[4] “Kinect Natural User Interface(NUI) overview”

Camera in various applications. ” Electrical & computer Engineering, University of

[8] Shengnan Gai; Eui-Jung Jung; Byung-Ju Yi, “Mobile Shopping Cart Application

[9] 蘇仕瑋,“以 Kinect 配合智慧型手機實做盲人輔具系統”, 國立成功大學工程科學學系, 碩士論文, 2013.

[11]唐偉豪,“應用 Kinect 之互動設計研究-以伴唱系統為例”, 國立臺北教育大學理學院數位科技設計學系玩具與遊戲設計碩士班, 碩士論文, 2012.