應用主題模型的非參數文本分群

Nonparametric Document Clustering with Topic Modeling

黃伊(Yi Huang)

指導教授 ： 林守德

國立臺灣大學/電機資訊學院/資訊工程學研究所/碩士(2016年)

https://doi.org/10.6342/NTU201601803

摘要

本論文設計了一個結合主題模型的非參數文本分群模型。我們的模型假設群的數量是直接從數據中習得的。模型同時對優化文本表達和非參數分群兩個任務進行優化。非參數分群的部分使用的是狄利克雷過程混合模型，文本表達的部分結合的是分層狄利克雷過程。我們使用變分推斷方法來近似後延分佈，并採用EM算法的方式學習所有的變量。實驗驗證了模型的有效性。

關鍵字

文本分群 ； 主題模型 ； 非參數模型 ； 混合模型 ； 非共軛模型

並列摘要

We describe a nonparametric document clustering model leveraging the topic modeling technique. In our model, the number of clusters is assumed to be inferred from data. Our model jointly optimizing two tasks: representing each document using its topic distribution, and nonparametric clustering on this transformed topic space. The clustering is built based on Dirichlet process mixture model (DPM) and the topic modeling shares similar structure with hierarchical Dirichlet process (HDP). We employ a variational inference solution to approximate the intractable posterior distribution and adopt the EM algorithm for parameter learning. Experiments on a variety of datasets are conducted to justify the effectiveness of the model.

並列關鍵字

document clustering ； topic modeling ； nonparametric model ； mixture model ； nonconjugate model

參考文獻

[3] W. Xu, X. Liu, Y. Gong. Document Clustering based on non- negative matrix factor- ization. ACM SIGIR Conference, 2003.

[5] D. Blei, A. Ng, M. Jordan. Latent Dirichlet allocation, Journal of Machine Learning Research, 3: pp. 993–1022, 2003.

[7] Xiaoping, S. Textual document clustering using topic models. Semantics, Knowledge and Grids (SKG), pp. 1–4, 2014.

[8] Y. W. Teh, M. I. Jordan, M. J. Beal, and D. M. Blei. Hierarchical Dirichlet processes. Journal of the American Statistical Association, 101(476):1566–1581, 2006.

[9] D. Blei and M. Jordan. Variational inference for Dirichlet process mixtures. Journal of Bayesian Analysis, 1(1):121–144, 2006.