LSTM 法則應用於連續手勢辨識之研究──手勢辨識系統軟體與硬體於 FPGA 實作

Continuous Hand Gesture Recognition by LSTM──Development of Software and FPGA-Based Hardware Classification System

鄧凱中(Teng Kai-Chung)

指導教授 ： 黃文吉

國立臺灣師範大學/理學院/資訊工程學系/碩士(2020年)

https://doi.org/10.6345/NTNU202000494

摘要

本論文考量現實應用的方便性與實際應用，選擇現場可程式邏輯門陣列(Field Programmable Gate Array, FPGA)來硬體電路實現，並對電路運算單元參數化，以應變需求的變化。而演算法使用長短期記憶(Long Short-Term Memory,LSTM) [1]來訓練模型與手勢辨識。
LSTM 作為設計電路之模型，跟傳統遞歸神經網路(Recurrent Neural Networks, RNN) [2]不同的是，RNN 同一時間點 t 的輸入都在同一層面，將上一層的輸出當作下一層的輸入，但時間點 t 產生的梯度在往後傳遞幾層後就消失為一大難題。而 LSTM 使用 Input Gate、Output Gate 與 Forget Gate 三個控制閘成功的解決時間軸上梯度消失的問題，因此選擇 LSTM 為本論文的演算法則。
LSTM 模型以 Keras [3]平台來訓練與驗證，辨識率高達 98%。本論文的訓練與辨識資料庫使用擁有陀螺儀跟加速器的手機做為 Sensor 來收集手勢資料，並收集本實驗室多人的動作為資料庫，並對資料做圖形化來篩選優良的訓練資料。圖形或者影像辨識需要瞭解艱深且複雜的公式，還必須有能力編碼將公式實踐出來，對手勢的辨識如果使用傳統影像辨識的方法將會增加運算的時間、大量的運算資源消耗與記憶體儲存空間的需求。本論文分別使用手機陀螺儀與加速器的 X、Y、Z 軸數據為訓練資料，與傳統的影像辨識相比，差別為輸入資料每一筆的維度變成一維，節省硬體儲存資源與運算的複雜度。

關鍵字

類神經網路 ； 摺積類神經網路 ； 系統晶片設計

並列摘要

none

並列關鍵字

FPGA ； RNN ； LSTM ； Machine Learning

參考文獻

[1] S. Hochreiter and J. Schmidhuber, "Long Short-Term Memory," Neural Computation, pp. 1735-1780, 1997.

[2] J. Schmidhuber, “Deep learning in neural networks: An overview,” Neural Networks, pp. 85-117, January 2015.

[3] R. Neruda and P. Vidnerova, "Evolving keras architectures for sensor data analysis," IEEE Conferences, pp. 109 - 112, 2017.

[4] A. Harris, H. True, Z. Hu, J. Cho, N. Fell and M. Sartipi, "Fall recognition using wearable technologies and machine learning algorithms," IEEE International Conference on Big Data (Big Data), pp. 3974-3976, 2016.

[5] F. Chollet, “Keras Documentation,” [線上]. Available: https://keras.io/.