- 學位論文
基於優化器之低維壓縮應用於類神經網路加速
Low-rank Compression of Covolution Neural Networks using Optimizer Based Rank Selection
摘要
深度學習已在許多領域獲得值得關注的進展，尤其深度卷積網路在圖像辨識相關領域的成就，然而深度卷積網路的能源消耗與計算量非常高，使得該技術能被應用的領域非常受限。深度卷積網路的過度參數化已經是為人所知的，為了能將深度卷積網路應用於資源受限的裝置上，模型壓縮成為了一個重要的研究領域，目前主要的研究領域包括剪枝,量化與分解，其中，分解演算法中的張量分解是深度卷積網路壓縮中的重要技巧之一，歸功於其能夠發現隱藏於卷積層複雜節構中的線性關西。然而，現有方法尚無法提供在模型加速與正確率的損失間令人滿意的平衡點。在本工作中，我們提出一個基於張量分解的模型壓縮方法，針對深度卷積網路中的卷積層進行低維近似。首先，一個全新的卷積網路訓練方法被設計來在模型壓縮過程中更好的維持正確率。再來，我們以最佳化方法解決在使用張量分解於壓縮卷積網路中的維度選擇問題。最後，我們提出一個全新的迴歸方法，稱之為漏斗函數，來決定張量的維度。實驗結果顯示我們的演算法相較於其他張量壓縮演算法可以移除更多模型中的參數並維持更好的正確率。在數個指標性的大型卷積網路上，我們在平均上達到約一個百分比的正確率損失與兩倍的計算量加速。
並列摘要
Tensor decomposition is one of the fundamental technique for model compressionof deep convolution neural networks owing to its ability to reveal the latent relationsamong complex structures. However, most existing methods compress the networkslayer by layer, which cannot provide a satisfactory solution to achieve global op-timization. In this thesis, we proposed model reduction methods to compress thepre-trained networks using low rank approximation for the convolution layers. Ourmethod is based on the optimization techniques to select the proper ranks of decom-posed network layers. In addition, we redesigned the compression flow, and proposed anew regularization function to better distinguish the desired and undesired structures.The experimental results show that our algorithm can reduce more model parame-ters than other tensor compression methods. For Resnet18 with Imagenet2012, ourreduced model can reach more than 2 times speed up in terms of GMAC with merely0.7% Top-1 accuracy drop, which outperforms all existing methods in both metrics.