於類神經網路中以基因演算法篩選屬性並嵌入蜜蜂演算法優化權重之方式處理分類問題

Algorithm for Classification Tasks: ABC-based Weights Optimization with GA-based Feature Selection in ANN

李登豐

指導教授 ： 葉維彰

國立清華大學/工學院/工業工程與工程管理學系/碩士(2011年)

摘要

類神經網路(Artificial neural network, ANN)發展至今將近七十年的歷史，已被廣泛地應用到許多的地方，無論是在分類或預測都上有不少的貢獻，從最耳熟能詳的感知器類神經網路架構搭配其訓練權重的方式可以達成簡單的線性可分任務，然後一路進化演變成具有良好非線性分類效果的多階層前饋式網路(Multilayer Feedforward ,MLFF, networks)，其中又以倒遞演算法(Back-Propagation, BP ,algorithm)為其主要的權重訓練方式，但是BP時常落入局部最小的困境而導致其效果不彰。此外，在做此類模式的權重訓練時，鮮少一開始就對輸入的相關屬性作篩選動作，過濾掉一些不重要的訊息。
有鑑於此，本篇論文提出一個新的整合式演算法─基因蜜蜂演算法(GAABC algorithm)，此法融合基因演算法(Genetic Algorithm, GA)和蜜蜂演算法(Artificial Bee Colony, ABC, algorithm )以訓練添加過濾層之多階層前饋式網路：基因的編碼模式是大多採取屬於二元編碼很適合做篩選器，因此以基因演算法中的染色體先過濾掉輸入的因素，然後交由蜜蜂演算法來訓練MLFF中的權重值，藉由多次的基因疊代中能夠找出最好的過濾基因以及訓練出最佳的權重值。
最後，本論文選用七筆來自UCI網路資料庫的資料組作為評比標準，分別測試了新提議的基因蜜蜂演算法和下列三種演算法：蜜蜂演算法、粒子群演算法(Particle Swarm Optimization, PSO, algorithm)以及倒傳遞演算法。從實驗數據得知，基因蜜蜂演算的表現優於其他三種演算法。

關鍵字

蜜蜂演算法

參考文獻

[1] J.H. Holland, Adaptation in Natural and Artificial Systems, University of Michigan Press, Ann Arbor, MI, 1975.

[2] J.R. Koza, Genetic programming: a paradigm for genetically breeding populations of computer programs to solve problems, Technical Report STAN-CS-90-1314, Stanford University Computer Science Department, 1990.

[3] J.H. Yang and V. Honavar, “Feature Subset Selection Using a Genetic Algorithm,” IEEE Intelligent Systems, vol. 13, no. 2, pp. 44-49, 1998.

[5] B. Basturk, D. Karaboga, An artificial bee colony (abc) algorithm for numeric function optimization, in: IEEE Swarm Intelligence Symposium 2006, Indianapolis, Indiana, USA, May 2006.

[7] K. Hornick, M. Stinchcombe, H. White, Mutilayer Feedforward Networks are Universal Approximators Neural Networks 2 (1989) 359–366.