利用自然語言處理進行自動新聞分類之研究

吳孟瑾 ； 傅詞源 ； 李佳衛 ； 張耀中

《TANET2019 臺灣網際網路研討會》 2019年 (2019/12) Pp. 648-653

https://doi.org/10.6924/TANET.201909.0117

摘要

近年來，由於人工智慧（Artificial Intelligence, AI）崛起，使得機器具有更好的判斷能力，甚至優於人類。本論文是利用人工智慧的方法訓練機器，使得機器能夠依據文章的內容，將文章分類為哪一種類別的新聞。如此一來，在校稿過程中如果發現有未標記或標記錯誤的問題，就可以快速標記正確的新聞分類，以減少人力及時間的耗費。此外，也可以為社群網站建立自有的新聞分類系統，將來自不同媒體的新聞資料，依據自有的分類方式進行分類，提供社群成員新聞資料。本論文分別利用爬蟲（web crawler）技術、資料前處理、結巴中文斷詞法來訓練電腦。經過多次的訓練及大量的訓練資料，實驗結果顯示新聞分類的準確率為97.42%。

關鍵字

網路爬蟲 ； 結巴斷詞法 ； 自然語言處理 ； 機器學習 ； 新聞分類 ； 社群網路

並列摘要

In recent years, since the Artificial Intelligence (AI) grows up, the machine has better judgment then the human. In this paper, we used Artificial Intelligence to train computer such that it can classify news according to the content of the news. When the category of news did not mark or flag error, the computer can quickly mark the correct news category to reduce the cost and time of human resource. Furthermore, we can build a news classification system for social networks. The system can classify the news from different news media. We used web crawler, data preprocessing, Jieba and NLP to train the computer. After many times to trainings, a large amount of training data, the experimental results show that the accuracy rate of news classification is 97.42%.

並列關鍵字

web crawler ； Jieba ； NLP ； machine learning ； news classification ； social networks