影片字幕檢索系統以臺大文學講座系列影片為例

Retrieval System for Video Subtitles with Videos of Literature Seminar at NTU

傅泓翊(Hung-I Fu)

指導教授 ： 項潔

國立臺灣大學/電機資訊學院/資訊網路與多媒體研究所/碩士(2012年)

https://doi.org/10.6342/NTU.2012.00918

摘要

一般在使用影音光碟時，只能按照章節來觀看，而不能對影片內容作檢索，
來找到想要看的片段。於是我們建立一個影片字幕檢索系統，希望能對影片內容
做一些搜尋，使用的影片是臺大文學講座系列影片。
臺大文學講座系列影片為臺大出版中心將近代文學的作家，如白先勇、葉維
廉、葉嘉瑩、高行健…等，於臺大演講的情況錄製成影音光碟，主要內容為大師
們文學創作的經歷，以及對文學、美學的想法。此系列光碟大部分含有演講手冊，
為了讓使用者在看到演講手冊中有興趣的部分時，能快速找到影片中的該片段，
而設計了此套字幕檢索系統。由於影片內容皆是演講，因此對字幕檢索也就是對
影片內容做檢索。
我們首先利用esrXP 取出包含字幕的圖片，並利用Microsoft Office Document
Imaging 中的OCR 功能來辨識字幕圖片，將辨識結果送回esrXP 製作成字幕檔，
來取得字幕文字與字幕時間；並且利用最長共同子序列計算字幕與演講手冊句子
的相似度，來知道字幕與句子的對應關係，進而得到字幕的發言者以及字幕對應
到的演講手冊句子。
接著建立一個網站系統，利用HTML5 的video 標籤，讓使用者只要使用支援
HTML5 的瀏覽器即可觀看影片；在搜尋字幕以及觀看影片的時候，也可以看到當
下字幕所對應的演講手冊句子，而給予使用者更多資訊。另外，我們還引入多維
度的後分類導覽方式，幫助使用者能對搜索結果做更進一步的篩選。

關鍵字

臺大文學講座 ； 字幕檢索 ； 影音檢索 ； 資料庫 ； 數位人文

並列摘要

When we watch videos with video discs like DVDs or VCDs, we can only watch
by chapters. We cannot do some search on the content of video. So we provide a
retrieval system for video subtitles, and hopefully do some progress on searching the
video content.
NTU Literary Lecture Series published by National Taiwan University Press are
videos of speech giving by some modern literature writers in Taiwan. There are videos
on DVDs and a speech manual for every video in NTU Literary Lecture Sreies. People
may read speech manuals to scan the content of videos quickly. When people find a
interesting paragraph and want to watch the part of video, they cannot easily do that.
To solve this problem, we create the subtitle files of videos by esrXP which
captures pictures of subtitles and Microsoft Office Document Imaging which does OCR
on pictures to get the text of subtitles. Additionally, we match subtitles to the sentences
in speech manual for giving more information to users.
Then we access videos through web. By using video tag of HTML5 on webpage,
users can easily watch the videos without any plug-in if they use HTML5-supported
browsers like Google Chrome and Mozilla Firefox. When users watch videos, the
sentences correspond to the subtitle will be displayed below the player. It will provide
more information to users on selecting subtitles. We also provide the function of
post-classification to users for filtering the retrieval results.

並列關鍵字

NTU Literary Lecture Series ； subtitle retrieval ； text match ； database ； digital humanity

參考文獻

[2]蕭屹灵，〈日治法院檔案系統及其後分類呈現〉，碩士論文，資訊網路與多媒體

北科技大學，2011

[13]張曉維，〈基於多影格的精確新聞影片文字偵測與擷取〉，博士論文，資訊工程

[6]VAST: Academic Video Online，

[7] Hsiang-An Wang, Chih-Yi Chiu, Yu-Zheng Wang , "VCenter: A Digital Video