運用局部代理損失函數之深度模型於廣泛成本導向多標籤學習

A Deep Model with Local Surrogate Loss for General Cost-sensitive Multi-label Learning

謝承佑(Cheng-Yu Hsieh)

指導教授 ： 林軒田

國立臺灣大學/電機資訊學院/資訊工程學研究所/碩士(2018年)

https://doi.org/10.6342/NTU201803150

摘要

多標籤學習 (Multi-label Learning) 是傳統多類別分類問題 (Multi-class Classification) 的一項延伸。在多類別分類問題中，每一筆數據 (Instance) 只被允許擁有單一個與此數據最相關標籤；但在多標籤學習中，每一筆數據都可以同時擁有多個與此數據相關的標籤 (Label) 。也因此，多標籤學習的應用十分廣泛，是機器學習中相當重要的研究問題。舉例而言，在影像分類中，每張照片可能同時包含多個不同的物品。其他多標籤學習的應用也包括文本分類、音樂分類，及影片分類。
由於不同的應用往往專注於不同面向並使用不同的標準來衡量多標籤學習演算法的表現，這樣的需求使得如何設計出可以自動化地適應並最佳化不同衡量標準的成本導向多標籤學習演算法 (Cost-sensitive Multi-label Learning Algorithm) 成為一個重要的研究課題。然而，因為這些用來衡量多標籤學習演算法的標準十分複雜且不易最佳化，設計出具有一般性並能夠廣泛地適應各種不同衡量標準的成本導向多標籤學習演算法其實是相當困難的。也因此，目前的成本導向演算法還是僅限於處理某些具有特殊形式的衡量標準，並不具備足夠的一般性。在這篇研究當中，我們提出的核心想法是對複雜的目標衡量標準重複地估計出局部代理損失函數，並用此函數決定最佳化的梯度下降的方向。我們並將此想法與深度學習結合，提出一個具有一般性的成本導向多標籤深度學習演算法。

關鍵字

多標籤學習 ； 成本導向 ； 代理損失函數 ； 局部估計 ； 梯度下降 ； 深度學習

並列摘要

Multi-label learning is an important machine learning problem with a wide range of applications. The variety of criteria for satisfying different application needs calls for cost-sensitive algorithms, which can adapt to different criteria easily. Nevertheless, because of the sophisticated nature of the criteria for multi-label learning, cost-sensitive algorithms for general criteria are hard to design, and current cost-sensitive algorithms can at most deal with some special types of criteria. In this work, we propose a novel cost-sensitive multi-label learning model for any general criteria. Our key idea within the model is to iteratively estimate a surrogate loss that approximates the sophisticated criterion of interest near some local neighborhood, and use the estimate to decide a descent direction for optimization. The key idea is then coupled with deep learning to form our proposed model. Experimental results validate that our proposed model is superior to existing cost-sensitive algorithms and existing deep learning models across different criteria.

並列關鍵字

Multi-label learning ； cost-sensitive ； surrogate loss ； local approximation ； gradient descent ； deep learning

參考文獻

[1] A. Beygelzimer, J. Langford, and P. Ravikumar. Error-correcting tournaments. CoRR, abs/0902.3176, 2009.

[2] K. Bhatia, H. Jain, P. Kar, M. Varma, and P. Jain. Sparse local embeddings for extreme multi-label classification. In NIPS, 2015.

[3] M. R. Boutell, J. Luo, X. Shen, and C. M. Brown. Learning multi-label scene clas- sification. Pattern Recognition, 37(9):1757–1771, 2004.

[4] K. Dembczynski, W. Cheng, and E. Hüllermeier. Bayes optimal multilabel classifi- cation via probabilistic classifier chains. In ICML, 2010.

[5] K. Dembczynski, W. Kotlowski, and E. Hüllermeier. Consistent multilabel ranking through univariate losses. In ICML, 2012.