暖啟動於線性分類器之參數選擇

Warm Start for Parameter Selection of Linear Classifiers

朱柏聿(Bo-Yu Chu)

指導教授 ： 林智仁

國立臺灣大學/電機資訊學院/資訊工程學研究所/碩士(2015年)

https://doi.org/10.6342/NTU.2015.01339

摘要

在線性分類器中,正規化項能很有效的減少過適問題,然而選擇出一個良好的正規化參數通常是耗時的。我們再選擇過程中使用交叉驗證,因此需要解出複數個使用不同參數的最佳化問題。我們的目標是設計一個有效的暖啟動策略來解決這一系列的最佳化問題。我們詳細的檢驗邏輯回歸與線性支持向量機其最佳解與正規化參數之間的關係。根據所得的分析,我們開發了一個高效的工具來替無背景知識的使用者自動選擇適合的參數。

關鍵字

暖啟動 ； 正規化參數 ； 參數選擇 ； 線性分類

並列摘要

In linear classification, a regularization term effectively remedies the overfitting problem, but selecting a good regularization parameter is usually time consuming. We consider cross validation for the selection process, so severaloptimization problems under different parameters must be solved. Our aim is to devise effective warm-start strategies to efficiently solve this sequence of optimization problems. We detailedly investigate the relationship between optimalsolutions of logistic regression/linear SVM and regularization parameters. Based on the analysis, we develop an efficient tool to automatically find a suitable parameter for users with no related background knowledge.

並列關鍵字

warm start, regularization ； parameter ； parameter selection ； linear classification

參考文獻

[7] R.-E. Fan, K.-W. Chang, C.-J. Hsieh, X.-R. Wang, and C.-J. Lin. LIBLINEAR:

[11] C.-J. Hsieh, K.-W. Chang, C.-J. Lin, S. S. Keerthi, and S. Sundararajan. A dual

[1] J. F. Bonnans and A. Shapiro. Pertubation analysis of optimization problems.

Springer-Verlag, 2000.

[2] C.-C. Chang and C.-J. Lin. LIBSVM: A library for support vector machines.