基於Cascade SVM之平行化AdaBoost分類器之研究

A Study on Parallel AdaBoost with Cascade SVM-based Component Classifier

曾開一(Zeng, Kai Yi)

指導教授 ： 胡殿中

國立清華大學/理學院/數學系/碩士(2014年)

摘要

本論文以兩種演算法來檢驗動態調整 C 值在資料分類上的影響，探討其正確率和計算時間之表現。過去的研究顯示：(一)使用整體演算法能提高模型分類準確率。（二）將資料分批以分散式平行運算，能有效降低運算時間。（三）透過調整 C 值所得之分類器模型會有所不同。本論文共執行兩種實例分析演算法於數位化手寫數字資料庫(MNIST database)上。實例分析(一)演算法為 AdaBoostCascadeSVM.PL，結果發現動態調整 C 值，能有效地降低22~30程式運算時間，且 C 值為 25 與 50 時，能得到與無動態調整相近之分類準確率。實例分析(二)演算法為 AdaBoostCascadeRVM.PL，結果發現其演算法之核心 RVM 在處理大型資料因時間複雜度過高，有運算時間過長之問題。

關鍵字

adaboost ； 支撐向量機

並列摘要

In this thesis, we use two algorithms, AdaBoostCascadeSVM.PL and AdaBoostCascadeRVM.PL, which to verify the effect of classification with dynamic adjustment C value, and observe the performance of accuracy and computation time. In AdaBoostCascadeSVM.PL, classification with dynamic adjustment C value can save 22~30 computation time, and receive the similar accuracy when C value equal 25 and 50. On the other hand, the complexity of AdaBoostCascadeRVM.PL is too high to obtain classifier efficiently.

並列關鍵字

adaboost ； support vector machine

參考文獻

[2] L. Breiman. Bagging predictors. Machine Learning, 24:123–140, 1996.

[3] L. Breiman. Random forests. Machine Learning, 45(1):5–32, 2001.

[4] R. Collobert, Y. Bengio, and S. Bengio. A parallel mixture of svms for very large scale problems. Neural Computation, 14(5):1105–1114, 2002.

[5] C. Cortes and V. Vapnik. Support-vector network. Machine Learning, 20:1–25, 1995.

[6] Y. Freund and R. E. Schapire. A decision-theoretic generalization of on-line learn- ing and an application to boosting. Journal of Computer and System Sciences, 55:119–139, 1995.