用於影像分割之像素相似度估測

Towards Learning Pixel Affinities for Image Segmentation and Beyond

塗偉志(Wei-Chih Tu)

指導教授 ： 簡韶逸

國立臺灣大學/電機資訊學院/電子工程學研究所/博士(2021年)

https://doi.org/10.6342/NTU202100552

摘要

像素相似度是用來衡量影像中相鄰兩像素之間距離或是連接性的變量，衡量像素相似度是許多影像處理算法中基本但關鍵的步驟，例如影像濾波器中用來計算濾波器核心函數，或是計算全域最佳化問題時用來計算點和點之間的邊權重。
在諸多衡量相素相似度的應用之中，有許多都是和影像分割高度相關的，例如像素相似度影響了影像分割時物體邊界最佳的位置或是群聚方法中用來決定是否要合併兩塊相鄰的分割以形成更大的分割，本文以衡量像素相似度為角度探討一系列和影像分割有關的問題，我們展示了像素相似度帶來的方便計算性、多功能性甚至讓我們能夠藉由學習像素相似度來利用深度學習輔助超像素分割問題。
具體來說，我們在本文的第一個部分探討有效率的距離轉換問題，藉由距離轉換以及適當的像素相似度估測函數，我們便能夠衡量影像中任意兩點在該函數下的距離，我們提出的距離轉換法具有線性時間複雜度，搭配最小屏障距離函數，我們展示了實時顯著物體偵測，同樣的距離轉換法也可以應用在互動式影像分割及眼睛影像瞳孔偵測等。第二部分，我們討論了像素相似度對於遞歸濾波器的影響，我們提出一種新型遞歸濾波器可以直接作用在二維影像平面，我們用這個濾波器展示了包含保邊影像平滑、材質去除、語意影像分割優化等應用，這些應用都採用相同的濾波器計算方式只是替換了像素相似度函數便可以達成不同效果。第三部分，我們利用學習像素相似度進而使深度學習能夠用來解超像素分割的問題，由於超像素分割問題本身沒有正確答案，且超像素表示法的編號絕對值沒有意義，這個問題不容易用深度學習搭配監督式學習法來解決，我們提出一個新的損失函數，可以利用一般影像分割的資料集來引導超像素分割的學習，在學習的過程中我們同時利用超像素切割的結果計算回饋信號來輔助深度學習更好的修正模型。
我們在一系列問題中提出的解決辦法都圍繞在衡量像素相似度上，通過大量實驗的驗證，我們的方法同時具有準確性及計算效率，這是衡量像素相似度所帶來的方便性及多元性的好處。

關鍵字

像素相似度 ； 影像分割 ； 遞歸濾波器 ； 距離轉換 ； 超像素

並列摘要

Pixel affinities describe the distance or connectivity between neighboring pixels in an image. Measuring pixel affinities is a fundamental yet essential process in many image processing algorithms such as computing the filter kernel for image filtering or determining edge weights in a global optimization framework. Among all applications, measuring pixel affinities is highly related to the task of image segmentation, where pixel affinities play essential roles to determine where to put segmentation boundaries or to merge two disjoint segments. In this thesis, we address several segmentation related tasks by explicitly measuring the pixel affinities. Specifically, in the first part, we show how we measure pixel affinities for distance transform to locate salient objects in an image. For the second part, we show the impact of pixel affinities in recursive image filtering. We propose a novel recursive filtering method and show its applications in edge-aware smoothing, texture removal and semantic segmentation. All above applications can be achieved in a single filtering framework by merely changing the way we compute pixel affinities. For the third part, we present the first ever deep learning based superpixel segmentation algorithm that can form semantically more meaningful segments. By explicitly learning pixel affinities, we make the learning of superpixels possible. The proposed algorithms are quantitatively and qualitatively evaluated in various applications including semantic segmentation, superpixel generation and salient object detection. Experimental results show that our algorithms are effective and efficient in these applications.

並列關鍵字

Pixel Affinity ； Image Segmentation ； Recursive Filter ； Distance Transform ； Superpixel

參考文獻

R. Margolin, L. Zelnik-Manor, and A. Tal, “How to evaluate foreground maps?” in Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2014.

E. S. L. Gastal and M. M. Oliveira, “Domain transform for edge-aware image and video processing,” ACM Transactions on Graphics (TOG), vol. 30, no. 4, pp. 1–12, 2011.

D. Min, S. Choi, J. Lu, B. Ham, K. Sohn, and M. N. Do, “Fast global image smoothing based on weighted least squares,” IEEE Transactions on Image Processing (TIP), vol. 23, no. 12, pp. 5638–5653, 2014.

Q. Yang, “Recursive approximation of the bilateral filter,” IEEE Transactions on Image Processing (TIP), vol. 24, no. 6, pp. 1919–1927, 2015.

S. Liu, J. Pan, and M.-H. Yang, “Learning recursive filters for low-level vision via a hybrid neural network,” in Proceedings of European Conference on Computer Vision (ECCV), 2016.