A Review of Reduced Kernel Trick in Machine Learning

縮減核函數在機器學習的應用與回顧

葉倚任(Yi-Ren Yeh) ； 陳素雲(Su-Yun Huang) ； 鮑興國(Hsing-Kuo Pao) ； 李育杰(Yuh-Jye Lee)

《中國統計學報》 52卷1期 (2014/03) Pp. 85-114

摘要

在此篇文章中我們將介紹縮減支撐向量機（reduced support vector machine）的數學模型，其中包含在統計上的理論基礎、延伸版本以及在機器學習演算法上的應用。主要的內容首先將包含三種不同縮減資料集（reduced set）的篩選方法，在實驗上我們也驗證透過這三種方法所得到較精簡的縮減集亦可以達到非常良好之效果。除了縮減資料集的篩選方法之外，我們也將介紹應用縮減支撐向量機之概念於機器學習演算法的例子，其中包含迴歸問題（regression）與資料維度縮減問題（dimension reduction）。最後，由於所遭遇的問題資料量日趨龐大，如何利用非線性模型處理如此龐大之資料也是目前許多研究所關心的議題。因此，我們也將介紹縮減支撐向量機於巨量資料的應用，其中包含利用縮減支撐向量機之概念於MapReduce的架構之中，進而可以處理巨量資料之問題。

關鍵字

巨量資料 ； 維度縮減 ； 核函數 ； 縮減核技巧 ； 監督式學習 ； 支撐向量法

並列摘要

We give a comprehensive introduction to the reduced support vector machine, its extensions and applications. We describe original RSVM algorithm and the statistical theory behind it. Three schemes for selecting the representative reduced set are introduced. These schemes lead to a smaller reduced set than the random sampling scheme without sacrificing prediction accuracy. Although smaller reduced set will have faster support vector machine training, one has to pay extra CPU time in learning the reduced set selection. In addition to classification, applications of reduced kernel trick to regression and dimension reduction are also included in this survey paper. We finally embed the RSVMs in the MapReduce framework for extremely large scale datasets. Some preliminary numerical studies show that RSVMs in MapReduce framework has a good potential for solving large scale nonlinear support vector machines. We believe that the reduced kernel trick will be an important technique in the Big Data era.

並列關鍵字

Big Data ； Dimension Reduction ； Kernel Methods ； Reduced Kernel Trick ； Supervised Learning ； Support Vector Machine

參考文獻

Alpaydin, E.(2004).Introduction to Machine Learning.The MIT Press.

Bengio, Y.(2000).Gradient-based optimization of hyperparameters.Neural Computation.12(8),1889-1900.

Bertsekas, D. P.(1999).Nonlinear programming.Athena Scientific.

Blum, A.,Mitchell, T.(1998).Combining labeled and unlabeled data with co-training.Proceedings of the Workshop on Computational Learning Theory.(Proceedings of the Workshop on Computational Learning Theory).

Blumer, A.,Ehrenfeucht, A.,Haussler, D.,Warmuth, M. K.(1987).Occam's razor.Information processing letters.24(6),377-380.