節能與可重組化深度卷積神經網路架構設計

Architecture Design of Energy-Efficient Reconfigurable Deep Convolutional Neural Network Accelerator

陳奕愷(Yi-Kai Chen)

指導教授 ： 陳良基

國立臺灣大學/電機資訊學院/電子工程學研究所/碩士(2018年)

https://doi.org/10.6342/NTU201800518

摘要

深度卷積神經網路的相關研究已經進行多年，並且在電腦視覺的領域得到驚人的成果，相關的應用也使我們的生活更加便利和直覺，然而先進的深度卷積神經網路通常包含百萬等級的參數和十億等級的算術運算，這使深度卷積神經網路無法有效率的在行動裝置和嵌入式系統中使用。

在這篇論文中，我們呈現一個深度卷積神經網路的特殊應用積體電路(ASIC)架構設計，目標是需要即時計算和低功率消耗的應用，在深度卷積神經網路的架構設計中有兩個主要的挑戰，第一個是在運算過程中需要大量的記憶體存取，第二個是由於資料分布和精準度不同的特性，會造成運算中產生不必要的功率消耗，因此降低記憶體的讀取和有效率的算術運算是架構設計的重點。

我們透過系統化的方法分析深度卷積神經網路中每一層所適合的資料重複使用型式，並且使用最佳的重複利用資料型式來降低記憶體存取的次數，我們也提出一個基於有符號數處理(sign and magnitude)的乘積累加運算(MAC)實作方法，並且驗證這種設計方法相比於傳統二補數的設計方法可以達到更低的功率消耗。

關鍵字

深度學習 ； 深度卷積神經網路 ； 資料重複使用設計 ； 高幀率架構設計 ； 晶片設計

並列摘要

無資料

並列關鍵字

deep learning ； convolutional neural networks ； data reuse ； high frame rate architecture ； chip design

參考文獻

[1] Russakovsky, Olga, et al. "Imagenet large scale visual recognition challenge." International Journal of Computer Vision 115.3 (2015): 211-252.

[2] Krizhevsky, Alex, Ilya Sutskever, and Geoffrey E. Hinton. "Imagenet classification with deep convolutional neural networks." Advances in neural information processing systems. 2012.

[6] He, Kaiming, et al. "Deep residual learning for image recognition." Proceedings of the IEEE conference on computer vision and pattern recognition. 2016.

[7] Lawrence, Steve, et al. "Face recognition: A convolutional neural-network approach." IEEE transactions on neural networks 8.1 (1997): 98-113.

[9] Abdel-Hamid, Ossama, et al. "Applying convolutional neural networks concepts to hybrid NN-HMM model for speech recognition." Acoustics, Speech and Signal Processing (ICASSP), 2012 IEEE International Conference on. IEEE, 2012.