以CenterNet 演算法則及數位彎曲感測器為基礎的即時手勢辨識系統之研究

Real-time gesture recognition system based on CenterNet algorithm and digital flex sensor

張弘凱(Chang Hung-Kai)

指導教授 ： 黃文吉

國立臺灣師範大學/理學院/資訊工程學系/碩士(2021年)

https://doi.org/10.6345/NTNU202101300

摘要

本論文將實現以數位彎曲感測器作為手指手勢的即時辨識系統，包含硬體方面的智慧手套之設計與製作；以及軟體方面，使用CenterNet演算法則來將偵測出手勢並且辨識類別。從硬體到軟體，形成一個完整的即時手勢辨識系統。
另外本論文也解決了當今以感測器的手勢辨識幾乎都不重視前背景分離，都是以辨識的正確率為主。本論文成功的使用CenterNet來將前背景訊號分離，而不須額外的觸發，解決了在時間序列中前景手勢與背景手勢難以分離的問題，實現即時的手勢辨識系統。

關鍵字

智慧手套 ； 穿戴式裝置 ； 手指手勢辨識系統 ； 數位彎曲感測器

並列摘要

none

並列關鍵字

CenterNet ； Sensor based

參考文獻

[1] A. Amir, "A low power, fully event-based gesture recognition system," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017.

[2] C. Ng and S. Ranganath, "Real-time gesture recognition system and application," Image and Vision computing, vol. 20, p. 993–1007, 2002.

[3] S. Rautaray and A. Agrawal, "Vision based hand gesture recognition for human computer interaction: a survey," Artificial intelligence review, vol. 43, p. 1–54, 2015.

[4] J. Suarez and R. R. Murphy, "Hand gesture recognition with depth images: A review," in 2012 IEEE RO-MAN: the 21st IEEE international symposium on robot and human interactive communication, 2012.

[5] W. Cheng, "Jointly network: a network based on CNN and RBM for gesture recognition," Neural Computing and Applications, vol. 1, p. 309–323, 2019.