基於專注式類神經網路之依例查詢口述語彙偵測

Query-by-example Spoken Term Detection based on Attention-based Neural Network

敖家維(Chia-Wei Ao)

指導教授 ： 李宏毅

國立臺灣大學/電機資訊學院/電信工程學研究所/碩士(2017年)

https://doi.org/10.6342/NTU201702646

摘要

本論文之主軸在探討語音數位內容之口述詞彙偵測。由於近年來網路蓬勃發
展，使得網路上包含語音資訊的多媒體如線上課程、電影、戲劇、會議錄音等日
漸增加，因此，語音數位內容之檢索也隨之受到重視。語音數位內容檢索的關鍵
部分為口述語彙偵測，找出語音文件中出現查詢詞的部分。本論文的查詢詞為語
音訊號，並非文字。傳統的方法都會藉由語音辨識系統先將查詢詞轉為文字，而
本論文則不經過語音辨識系統，使用機器學習中的類神經網路，在訓練語料中學
習聲音的特徵，如此便可直接在語音訊號上進行口述詞彙偵測，以避免語音辨識
系統錯誤率影響檢索系統的問題。
本論文採用了專注式機制，此機制能夠使模型關注在語音文件中某個區塊，
避免多餘的雜訊影響。回顧機制能夠使模型依照先前的輸入而關注在語音文件中
不同地方，進而模型能夠多次關注語音文件，且更精準的找到查詢詞。同時也嘗
試使用語音詞向量，將語音文件編碼成為一向量，其向量能夠有詞與詞之間的相
關性，藉由語音文件向量進行口述詞彙偵測。

關鍵字

專注式模型 ； 依例查詢

並列摘要

無資料

並列關鍵字

Attention-based Model ； Query-by-example

參考文獻

[3] 沈昇勳, “藉助線上課程之自動結構化、分類與理解以提升學習效率,” 2016.

[2] Yaodong Zhang and James R Glass, “Unsupervised spoken keyword spotting via segmental dtw on gaussian posteriorgrams,” in Automatic Speech Recognition & Understanding, 2009. ASRU 2009. IEEE Workshop on. IEEE, 2009, pp. 398–403.

[5] Lin-shan Lee and Berlin Chen, “Spoken document understanding and organization,” Signal Processing Magazine, IEEE, vol. 22, no. 5, pp. 42–60, 2005.

[6] “Text retrieval conference,” Website, http://trec.nist.gov/.

[10] Jiwei Li, Minh-Thang Luong, and Dan Jurafsky, “A hierarchical neural autoencoder for paragraphs and documents,” arXiv preprint arXiv:1506.01057, 2015.