詢問式學習法在決策樹資料探勘上的應用

Query Based Learning Decision Tree and its Applications in Data Mining

羅嘉彥(Chia-Yen Lo)

指導教授 ： 張瑞益

國立臺灣大學/工學院/工程科學及海洋工程學研究所/碩士(2006年)

https://doi.org/10.6342/NTU.2006.01619

摘要

動機：決策樹為資料探勘中常用的一種工具，它的好處在於其圖形輸出模式，不但讓人對決策過程一目了然，更能得到容易推論理解的探勘結果。但如同現有一般資料探勘演算法，當面對擁有巨量資料的實際問題時，決策樹的學習過程往往費時過多，因此如果能夠針對此項缺點加以修正，必定可以大幅改善決策樹的決策分類效率。

作法：在之前研究中提出的詢問式學習法則，取法「因材施教」的原則，針對系統需要加強學習的地方給予訓練，當遇到大量資料的資料探勘問題時，能提供小型且富意義的資料集，提升探勘的速度。由於實際資料往往大量且含有雜訊，以至於學習上會有過度符合(overfit)或符合度不夠(underfit)的情形，而我們提出的方法可在學習效率與正確率方面同時得到改善。先前應用在分群與分類的兩種類神經網路上，得到不錯的結果。故本論文嘗試利用詢問式學習法則於決策樹，提出詢問式學習決策樹(Query-Based Learning Decision Tree, QBLDT)來克服決策樹的學習問題。

成果：本論文為首度將詢問式學習觀念應用到決策樹，配合抽樣方法與資訊增益值(Information gain)來進行學習詢問，以加速學習速度與預測效果。實驗結果顯示結合詢問式學習法的決策樹在各項表現上，皆比傳統決策樹好，由此可以證明我們所提出的方法的確可以幫助決策樹提升學習效率，達到令人接受的結果。

關鍵字

機器學習 ； 分類 ； 決策樹 ； 詢問式學習 ； 資料探勘

並列摘要

Motivation: Decision tree (DT) is one of the most significant classification methods applied in data mining. By its graphic output, users could have an easy way to interpret the decision flow and the mining outcome. However, the construction of DT is known to be time consuming. It will spend a high computation cost when mining the large scale dataset in real world. This drawback causes DT to be ineligible in processing the time critical applications.

Method: In past years, we have introduced the query-based learning (QBL) method to different neural networks for providing a more effective way to achieve good clustering and classification results. We try to apply the QBL concept in DT construction and propose a novel mining scheme called QBLDT.

Achievement: This thesis, in our knowledge, is the first study that applies the QBL concept in DT construction. Experimental results show our proposed QBLDT method is better than the traditional DT construction method in different performance metrics. It makes learning quicker and can achieve better prediction results.

並列關鍵字

Machine Learning ； Classification ； Decision Tree ； Query-Based Learning ； Data Mining

參考文獻

15.洪永泰，抽樣調查方法，pp.1-13，2002。

13.賴良賓，”詢問式倒傳遞類神經網路在資料挖掘的應用，”國立中央大學資訊管理所碩士論文，2003。

1.J. Han, M. Kamber, Data Mining: Concepts and Techniques, Morgan Kaufmann, 2001.

11.J.R. Quinlan, “Induction of decision trees,” In Machine learning, vol. 1, Kluwer Academic, pp.81-106, 1986.

17.R.I. Chang, P.Y. Hsiao, “Unsupervised query-based learning of neural networks using selective-attention and self-regulation,” IEEE Trans. on Neural Networks, vol.8, no.2, pp.205-217, March 1997.