摘要
近來人工智慧（AI）受到廣泛的研究與應用，從雲端伺服器、邊緣端伺服器、桌上型電腦、手機、嵌入式系統、IoT裝置等都可以看到AI的應用身影。由於AI的應用領域廣泛，如時間序列與預測、圖像處理、動態影像處理、語音處理、自然語言等，因此在應用需求下，如何使選用的AI的軟硬體平台達到最佳效能變成為一項非常重要的工作。隨著AI應用快速拓展，現有通用型處理器如AI運算加速器的種類繁多，如中央處理器（CPU）、繪圖加速器（GPU）在處理如深度學習神經網路等運算上的效能，無法滿足需求，或需額外新增人工運算指令架構支援，使得各種新的AI運算加速器架構正在源源不絕浮現。如向量處理器（VDSP）、張量處理器（TPU）、特用運算器（ASIC）等。為了支援各AI運算加速器，在軟體方面也有各式各樣的AI軟體框架，著名的如TensorFlow、CNTK、Theano、Caffe、Keras、Torch、Sci-kit Learn等等。基於上述，多樣化的AI硬體運算器與各式的軟體框架，AI系統效能評估基準需要包含硬體加速器效能與軟體系統效能，如此方能為AI系統應用之軟硬體系統平台整合效能進行合理與需求性的評估。