以內容為主的監視影像搜尋系統

Content-based Surveillance Retrieval over Foreground Objects

張倫毓(Lun-Yu Chang)

指導教授 ： 徐宏民

國立臺灣大學/電機資訊學院/資訊網路與多媒體研究所/碩士(2009年)

https://doi.org/10.6342/NTU.2009.00630

摘要

監視影像的搜尋系統在電腦視覺領域中是個正火熱的研究主題，在這大主題之下還存在著許多有趣的研究題目，像是前景物體偵測、物體追蹤、影像搜尋…等等，我的研究主要是分兩個部分。第一個部分，我提出一個新的前景物偵測方法，是利用圖形切割來結合多個模組之前景偵測，並利用多核心來加速運算。第二部分，我建構出一個以內容為主的監視影像搜尋系統，其中使用了我所新提出的特徵。
前景物偵測對於監視影像的內容了解間或影像搜尋都是一個很基本且必要的部分，不過這方面的研究在現在仍然卡在偵測的效果不夠精準，效率不夠即時，沒辦法獲得一個完整清楚的前景剪影圖。我們提出一個嚴謹的結合方法 ─ 圖形切割，希望能利用此方法來結合多種前景偵測模組(例如: 物體外觀顏色、前景的可能性、空間上的關係…等等)來加強前景偵測的完整性，除此之外，為了提高整個系統的效率，我們提出了幾個可能可以減少運算時間的方法(例如：將一整張圖變分割成幾個小圖片來進行平行運算…等等)，最後我們實驗在一個公開的測試資料上，我們所提出的方法顯著的比現行的熱門偵測方法有所提升，且在效能(每秒執行的畫面數量)上也是有很高的表現。
在現今這個時代，高畫質的攝影機比以前更容易能取得，不過我們要怎麼以一個有效率的方式在這大量的影像中取得我們所想要得到的資訊是一個很重要且困難的問題。舉例來說，我們現在想要在這大量的監視影像中，搜尋看看有沒有某個小偷出現的畫面，假設我們已經有張小偷的相片，並想要利用這張相片看看到底在哪些攝影機有拍到這個人的出沒，我們可以輕易的得到大量的監視器畫面，但是要怎麼有效的利用照片中的資訊來找到影片中的資訊就是我這裡要做的問題。我們可以把這張用做搜尋用的圖片丟入我們的監視影像搜尋系統做分析，系統會轉換照片裡頭的內容變成一些能代表這張圖片的數值化特徵向量，接著搜尋系統會進行一連串的比對過程，最後輸出一連串的可能畫面結果，並依照每個畫面與一開始那張圖片的關聯程度由高排到低。我這個部分最主要的貢獻在於我提出了新的特徵，即使一開始用做搜尋的圖片是用各種不同的角度或是不同位置、焦距所拍攝的，我的搜尋系統仍可透過新的影像特徵來加強搜尋結果的正確性。在最後的實驗結果中，我們成功的改善了測試結果的準確性透過使用了我們所新提出的影像特徵。

關鍵字

前景偵測 ； 前景區塊化 ； 圖形切割 ； 監視 ； 多核心處理 ； 剪影圖 ； 監視畫面搜尋 ； 基於內容的圖形檢索

並列摘要

Video Surveillance is a hot research topic in computer vision, and there are lots of important issues under this scope, such as foreground segmentation, tracking, and image retrieval… etc. My research focus on two parts here, first, I proposed a new foreground segmentation method that fusion multiple modalities via graph cut, and speed up it with multi-core. Second, I build up a content-based surveillance retrieval system that using the new feature that I proposed.
Foreground detection is essential for semantic understanding and discovery for surveillance videos but still suffers from inefficiency and poor shape or silhouette detection. We argue to leverage multiple modalities (e.g., color appearance, foreground likelihood, spatial continuity, etc.) for foreground detection and propose a rigorous fusion method by graph cut. We further devise three strategies (e.g., dividing the graph cut problem into several subtasks, exploiting multi-core platform, etc.) to speed up the detection. Experimenting in open benchmarks, the proposed method outperforms other rival approaches in terms of detection accuracy and frame rate.
Nowadays quality surveillance camera is cheaper than before, but how can we use an efficient way to extracting the information that we want is an important problem. If we want to search a thief in the cameras, we can easily get lots of surveillance video around this place. Then we will face to a problem how to find the thief in the whole videos. If we already have a query image, we can put it into a Content-based retrieval system that can easily transform the image into several low level features. Next the system would output a ranking list from the retrieval kernel. The main contributions of our system are proposing new features that try to enhance the retrieval result, even the query image captured in variety of resolutions (focal length) or position. In the experiments, we successfully improve the evaluation result when considering the features we proposed.

並列關鍵字

foreground detection ； foreground segmentation ； graph cut ； urveillance ； multi-core ； silhouette ； surveillance retrieval ； content-based

參考文獻

[1] S. Jabri et. al., “Detection and location of people in video images using adaptive fusion of color and edge information.” Proc. ICPR 2000.

[2] T. Aach, et. al. “Statistical model-based change detection in moving video,” Proc. IAAP, 1999.

[3] Chris Stauffer, “Adaptive background mixture models for real-time tracking,” Proc. CVPR, 1999.

[4] Y. Boykov, V. Kolmogorov. “An experimental comparison of min-cut/max-flow algorithms for energy minimization in vision,” TPAMI, Vol. 26, No. 9, pp. 1124–1137, 2004.

[5] N.-R. Howe “Better foreground segmentation through graph cuts,” Technical report, Smith College, 2004.