以遺傳演算法為基礎的中文斷詞研究

A Study on Chinese Word Segmentation: Genetic Algorithms Approach

陳稼興(Jiah-Shing Chen) ； 謝佳倫(Chia-Lun Hsieh) ； 許芳誠(Fang-Cheng Hsu)

《資訊管理研究》 2卷2期 (2000/07) Pp. 27-44

https://doi.org/10.6188/JEB.2000.2(2).02

摘要

斷詞在中文自然語言處理上，是個非常重要的前期作業。本研究提出以遺傳演算法為基礎的中文斷詞模型，用以處理中文斷詞。在我們提出的模型中，詞庫是自動建立的，除了避免人為介入導致的不客觀性外，也避免浪費寶貴的人力資源。在斷詞處理上，則是利用詞庫中的「詞出現次數」和「詞長」兩個因子編成適應函數，作為遺傳演算法演化的依據。一般斷詞方法，在斷短詞上的效果不錯，一旦遇到長詞，正確率就會大幅下降；但是若改採長詞優先，則因長詞可能包含短詞，導致短詞可能斷不出來。本研究模型的特色是，長詞有較大的機會被優先斷出，而任何短詞只要在文章中出現的次數夠多，還是有機會被斷出。此外，在模型中我們運用遺傳演算法進行中文斷詞，由於遺傳演算法可以讓我們保留最好的前三個（或更多）斷詞結果，而不是僅僅保留一個斷詞結果，讓後階段的中文處理有更多的選擇，這樣的特性有助於處理「斷詞的歧義性（ambiguity）」的問題。為驗證模型的效益，我們採用中時電子報下載的電子檔案為樣本進行實驗。實驗分析結果顯示，本研究模型確實已達可接受水準。

關鍵字

中文斷詞 ； 遺傳演算法 ； 中文自然語言處理

並列摘要

For Chinese natural language processing systems, word segmentation is a very important pre-processing step. In this study, a genetic algorithm-based word segmentation model is proposed. In the model, a dictionary for word segmentation is automatically generated from the training articles. GA's population search feature makes it easy to find several better segmentation candidates, which are helpful to the following steps in Chinese language processing. Experimental results on 300 articles show that our GA-based approach to Chinese word segmentation is highly feasible.

並列關鍵字

Chinese word segmentation ； genetic algorithms ； Chinese language processing

參考文獻

Hunter, A. SUGAL

Chen K. J.｜S. H. Liu(1992).Proceeding of COLING-92, 14th Int. Conf. On Computational Linguistics.

Fan, C. K.,W. H. Tsai(1988).Automatic Word Identification in Chinese Sentences by the Relaxation Technique.Computer Processing of Chinese and Oriental Languages.2(4),33-56.

Gan, K. W.,M. Palmer,K. T. Lua(1996).Computational Linguistics.

Goldberg, David E.(1989).Genetic Algorithms in Search Optimization and Machine Learning.Addison Wesley: