A class of generalized ridge estimator for high-dimensional linear regression

A class of generalized ridge estimator for high-dimensional linear regression

楊思芃(Szu-peng Yang)

指導教授 ： 江村剛志

國立中央大學/理學院/統計研究所/碩士(2014年)

摘要

此篇論文建立在多元線性迴歸(Multiple linear regression)模型之上。在這個模型之下，一般常用的最小平方估計量（Least square estimator）並不適合用在變數個數大的情況，會產生共線性（Collinearity）的問題，特別是在變數個數大於樣本數的時候。Hoerl和Kennard在1970年提出了Generalized ridge迴歸方法。在理論上，Generalized ridge估計量可以解決最小平方估計量的共線性問題。其後，也有許多人討論過特殊型式的Generalized ridge估計量。但是，當變數個數增大的時候，需要估計的參數也隨之增加，導致其實行上的困難，因此大多只考慮樣本數大於變數個數的情形。我們在此篇論文提出了一個在高變數個數之下也能運作的Generalized ridge估計量的特殊型。除此之外，此估計量在貝氏理論中也具有適當的解釋，更可以與先驗資訊做連結，藉此取得較佳的估計。在此篇論文中，我們做了顯著性檢定、模擬資料以及實際資料分析。資料分析中，一般的ridge估計量被拿來與我們提出的估計量做比較，而我們提出的估計量以均方差(Mean square error)來說表現得比ridge估計量來得好。

關鍵字

脊迴歸 ； 高維度資料

並列摘要

In multiple linear regression, the least square estimator is inappropriate for high-dimensional regressors, especially for p≥n. Consider the linear regression model. The generalized ridge estimator has been considered by many authors under the usual p

並列關鍵字

Ridge regression ； High dimensional ； Generalized ridge regression

參考文獻

Allen, D. M. (1974). The relationship between variable selection and data augmentation and a method for prediction. Technometrics 16, 125-127.

Binder, H., Allignol, A., Schumacher, M., and Beyersmann, J. (2009). Boosting for high-dimensional time-to-event data with competing risks. Bioinformatics 25, 890-896.

Cule, E., Vineis, P. and De Iorio, M. (2011). Significance testing in ridge regression for genetic data. BMC Bioinformatics 12, 372.

Dicker, A. P., and Rodeck, U. (2005). Predicting the future from trials of the past: epidermal growth factor receptor expression and outcome of fractionated radiation therapy trials. Journal of Clinical Oncology 23, 5437-5439.

Emura, T., Chen, Y. H., and Chen, H. Y. (2012). Survival prediction based on compound covariate under cox proportional hazard models. PLoS ONE 7, e47627.