根據語意式切割與物體危險等級預測的道路場景理解

Road Scene Understanding with Semantic Segmentation and Object Hazard Level Prediction

龔芠瑤(Kung, Wen Yao)

指導教授 ： 陳煥宗

國立清華大學/電機資訊學院/資訊工程學系/碩士(2016年)

摘要

我們提出了一個利用全卷積網路的方法來實現道路場景理解並且將物體的危險程度分成三個等級來預測。在我們的方法中，藉由一張圖片的輸入，這個多任務的模型可以提供一個細緻的切割結果及一個用熱圖表示的危險程度的預測結果。這個模型可以分成三個部分：共享網路、切割網路及危險程度網路。共享網路和切割網路主要是採用Badrinarayanan 等人所提出的用於影像切割的加密-解密網路。危險程度網路是一個全卷積網路架構，它將圖中每個位置的危險程度以一個粗略的切割結果來表示。
為了訓練及測試我們提出的深度神經網路，我們建立了一個同時有物體切割標記和危險程度標記的資料庫。為了證明我們的網路可以學習到更抽象的物體特性，我們使用兩種評估方式並和視覺顯著性的方法做比較，最後得出了物體危險程度有別於視覺顯著性問題的結論。

關鍵字

卷積類神經網路 ； 場景理解 ； 語意式切割 ； 危險程度預測

並列摘要

We introduce a method for understanding road scenes and simultaneously predicting the hazard levels of three categories of objects in road scene images by using a fully convolutional network (FCN) architecture. In our approach, with a single input image, the multi-task model produces a _ne segmentation result and a prediction of hazard levels in a form of heatmap. The model can be divided into three parts: shared net, segmentation net, and hazard level net. The shared net and segmentation net use the encoder-decoder architecture provided by Badrinarayanan et al . [2]. The hazard level net is a fully convolution network estimating hazard level of a segment with a coarse segmentation result.
We also provide a dataset with the object segmentation ground truth and the hazard levels for training and evaluating the proposed deep networks. To prove that our network can learn highly semantic attributes of objects, we use two measurements to evaluate the performance of our method, and compare our method with a saliency-based method to show the difference between predicting hazard levels and estimating human eyes fixations.

並列關鍵字

Convolutional Neural Network ； Scene Understanding ； Semantic Segmentation ； Hazard Level Prediction

參考文獻

scenes using visual cues and GPS information. In ECCV Workshops (3), volume

7585 of Lecture Notes in Computer Science, pages 635-638. Springer, 2012.

[2] V. Badrinarayanan, A. Kendall, and R. Cipolla. Segnet: A deep convolutional

encoder-decoder architecture for image segmentation. CoRR, 2015.

image segmentation with deep convolutional nets and fully connected crfs. CoRR,