使用次詞單位及遷移學習之跨語言及語音問答系統

Cross Lingual and Spoken Question Answering with Subword Units and Transfer Learning

李佳軒(Chia-Hsuan Lee)

指導教授 ： 李琳山

國立臺灣大學/電機資訊學院/資訊網路與多媒體研究所/碩士(2019年)

https://doi.org/10.6342/NTU201901515

摘要

本論文研究主題涵蓋兩大前瞻性方向:語音問答系統(Spoken Question Answering)和跨語言問答系統(Cross Lingual Question Answering)，實驗語料為英文以及中文，包含語音訊號以及語音辨識轉寫(Transcription)。
語音問答以英文維基百科的合成聲音以及中文維基百科的真實人聲為應用領域， 本論文蒐集建構了兩個大型問答集，提供了研究者們夠大量的高品質的資源，嘗試解決過去無法訓練複雜深層學習(Deep Learning)模型的問題。由於含有眾多語 音辨識錯誤，在標竿資料集上表現頂尖的問答系統在語音環境下表現，相較於純 文字環境下皆呈現大幅度退步。本論文使用聲學上的次詞單位去呈現文章中的詞，藉由次詞單位可以將辨識錯誤的文字與正確轉寫的文字之間的語意做連結， 讓問答系統可以得到較為貼近正確轉寫文字的資訊，實驗結果顯示不論在中文或 英文上，次詞單位都能夠有效提升模型的表現。
由於訓練深層學習的問答模型需要大量人工標注的資料，並且當前幾乎所有大型 問答資料集都是英文的，因此問答模型的發展在英文以外的語言上相當緩慢。本論文探討如何將英文資料裡的知識遷移到中文的問答模型上，亦即跨語言遷移學 習(Cross Lingual Transfer Learning)，首先，使用機器翻譯系統將英文資料集翻譯 成中文，作為額外的訓練資料，可以成功提升中文問答模型的表現。然而，不是所有語言之間都有高品質的機器翻譯系統。本論文接著提出一個只需要詞對詞雙 語詞典作為語言資源的模型，此模型引入了生成對抗學習，透過句子編碼器與語 言鑑別器之間的對抗，句子編碼器可以將不同語言文句的表徵(Representation)投 射到共享的高維向量空間上，因此可以讓模型同時從不同語言的資料中有效率的學習。

關鍵字

文字問答 ； 語音問答 ； 次詞 ； 遷移學習

並列摘要

無資料

並列關鍵字

Text Question Answering ； Speech Question Answering ； Subword ； Transfer Learning

參考文獻

[1] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang, “Squad: 100,000+ questions for machine comprehension of text,” in Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, 2016, pp. 2383–2392.

[2] Chia-Hsuan Lee, Szu-Lin Wu, Chi-Liang Liu, and Hung-yi Lee, “Spo- ken squad: A study of mitigating the impact of speech recognition errors on listening comprehension,” Proc. Interspeech 2018, pp. 3459–3463, 2018.

[3] Chia-Hsuan Lee, Shang-Ming Wang, Huan-Cheng Chang, and Hung-Yi Lee, “Odsqa: Open-domain spoken question answering dataset,” in 2018 IEEE Spoken Language Technology Workshop (SLT). IEEE, 2018, pp. 949–956.

[4] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin, “Attention is all you need,” in Advances in neural information processing systems, 2017, pp. 5998–6008.

[5] Tri Nguyen, Mir Rosenberg, Xia Song, Jianfeng Gao, Saurabh Ti- wary, Rangan Majumder, and Li Deng, “Ms marco: A human generated machine reading comprehension dataset,” arXiv preprint arXiv:1611.09268, 2016.