基於決策樹與二元語言模型的網路用語轉譯系統

An Internet Slang Translator Based on Decision Tree and Bi-gram Language Model

楊亨利(Heng-Li Yang) ； 黃泓彰(Hung-Chang Huang) ； 林青峰(Qing-Feng Lin)

《電子商務學報》 17卷1期 (2015/03) Pp. 25-48

https://doi.org/10.6188/JEB.2015.17(1).02

摘要

網路文章中含有的網路用語或網路流行語，對於以正規中文為對象的文字分析而言是一個阻礙分析的問題；若將網路用語轉譯為正規中文將會有助於取得更多可用的資訊。為了將網路用語轉譯為正規中文，本研究蒐集網路用語的定義與網路文章，將網路用語分類後，運用決策樹和語言模型的轉譯方法，對各類用語作合適的轉譯。轉譯系統能夠偵測並轉譯約81%的網路用語，其轉譯的精確度約為90%；因此，本研究所提出之以決策樹和語言模型為基礎之系統應可適合網路用語的轉譯。

關鍵字

網路用語 ； 網路流行語 ； 文字正規化 ； 決策樹 ； 語言模型

並列摘要

While conducting text mining on Chinese content, Internet slang is a problem which results in a lower accuracy of text segmentation. Translating Internet slang into formal Chinese would help segmentation and, in addition, revealing the implicit information of the slang. In order to translate Internet slang, this study first collected meanings of slangs and web texts. Next, Internet slang was categorized, and translating methods, which are mainly based on decision tree and bi-gram language model, were developed for each category. The translator was then implemented. Eighty-one percentages of the Internet slang in web texts were correctly detected and translated, with a precision at ninety percentages. It is concluded that the proposed methods are quite applicable to Internet slang translation.

並列關鍵字

Internet slang ； Internet buzzwords ； text normalization ； decision tree ； bi-gram language model

參考文獻

王貞英（2010）。台灣青少年所使用的流行語之研究。國立清華大學台灣研究教師在職專班語言組未出版碩士論文，台灣，新竹。

張慧美（2006）。網路語言之語言風格研究。彰化師大國文學誌，13，331-359。

Goutte, C., Cancedda, N., Dymetman, M., & Foster, G. (2009). Learning machine translation. Cambridge: The MIT Press.

Khan, O. A., & Karim, A. (2012). A rule-based model for normalization of SMS text. Proceedings of the 2012 IEEE 24th International Conference on Tools with Artificial Intelligence (ICTAI), Athens, Greece.

Kouloumpis, E., Wilson, T., & Moore, J. (2011). Twitter sentiment analysis: The good the bad and the OMG! Proceedings of the 5th International AAAI Conference on Weblogs and Social Media, Barcelona, Spain.