基於雲霧端架構之人工智慧服務延遲敏感任務卸載機制

近年來，隨著影片分享需求的提升以及基礎網路設施的革新，加速了影音串流平台的普及化。不過這些平台並不能支援行車紀錄器，若可以及時地蒐集行車紀錄器的影像，我們便可以提供一些創新的應用服務，像是即時街景與停車格搜尋。而且，我們還可以搭配AI模型，對這些影像進行分析。若是能將AI服務部署在具有一定計算能力的車載裝置上，我們就可以在裝置上先進行初步的分析，並依據分析結果來決定是否要上傳到雲端，藉此來降低網路資源的消耗。不過，車機裝置會隨著時間移動，造成網路狀況不穩定，增加影像傳輸的時間，在這種情況下就比較適合先將一部份的影片分析工作放在車載裝置進行處理。然而受限於車載裝置的運算能力，當工作量太多時，每個影片進行分析的耗時可能會超過上傳到雲端進行處理的時間。因此，要如何依據不同的環境適當的分配雲端伺服器以及車載裝置的工作量，便是個關鍵的挑戰。我們觀察並分析可能影響AI服務時間的參數，並依據這些觀察，自行設計一套任務卸載算法。最後，我們實作了一個即時影像分析平台，提供多種AI服務，並搭配我們的任務卸載算法，能同時權衡網路狀態以及運算能力。在實驗結果中，我們的算法可以降低20-60\%的處理時間。

關鍵字

雲霧計算；任務卸載；人工智慧

並列摘要

In recent years, the demand for instant video sharing and the evolution of network infrastructures have boosted the popularization of video streaming platforms among people. However, some particular devices, such as dashcams, do not support those video streaming platforms. With the growth of artificial intelligence (AI) and machine learning, we can gain more valuable videos by leveraging AI models. With the computing power provided by dashcams, we can deploy AI services in the data center and on these devices. As a result, we can perform videos analysis on these mobile devices first and then decide whether to upload videos instead of transferring all videos. The critical challenge is assigning tasks and utilizing resources appropriately on both mobile devices and the cloud to serve real-time AI services. We measure AI services with distinct conditions to figure how these conditions impact job completion time. Then, we design an offloading mechanism and build an instant video analysis platform to provide AI services. Our result indicated that job completion time could be significantly improved even under low bandwidth network connections.