中文BR斷詞器之建置與應用—以批踢踢實業坊股票版為例

任何分析中文文章方面的工作，都必須要能夠解析出文章中的詞彙，才有辦法進行後續處理，因此中文斷詞在中文自然語言的處理上，是相當基礎且重要的前置作業。本論文提出了一種改善中文斷詞的方式，透過BR比值公式轉化詞頻，之後搭配資料探勘中的集群分析(clustering)、決策樹(decision tree)、支持向量機(support vector machine)以及貝氏分類器(Bayes classifier)得到最佳的分群和分類，驗證的部分以正確率、精確率、召回率和綜合評價指標評估模型分類效果，即斷詞效果。以批踢踢實業坊股票版文章為例，在不需要提取大量文章訓練斷詞器的前提下，依照文章不同結構的比例提取貼文，經過公式轉換後，進行分群以及訓練分類器，實證結果顯示，在不需要大量的文章資料，跟現行常用的中文斷詞器相比較，本研究所提出的中文BR斷詞器亦能夠保持不錯的斷詞效果。

關鍵字

文字探勘；自然語言處理；中文斷詞器；資料探勘

並列摘要

The efficiency of the full-text parser cannot be emphasized enough while working with natural language processing systems especially for Chinese articles. Inspired by the mutual information theory of Shannon (1949), this research proposes an adjusted form of point mutual information, called binding ratio. Incorporating with the cluster analysis, decision tree, support vector machine and Bayes classifier, the binding ratio Chinese parser enhances the word breaking performance in terms of the accuracy, precision, recall rate and f1-measure. The implementation and application has been provided using articles collected from Taiwan’s internet platform PTT stock board in this research.

並列關鍵字

text mining ； natural language processing ； Chinese parser ； data mining

參考文獻

Chen, K. J., & Bai, M. H. (1998). Unknown word detection for Chinese by a corpus-based learning method. Journal of Computational Linguistics and Chinese Language Processing, 3(1), 27-44.

Han, J., & Kamber, M. (2000). Data mining: concepts and techniques (the Morgan Kaufmann Series in data management systems).

參考文獻