基於邊緣資訊導引、反射分類器、及反複拆解技術為輔助進行單張影像之反射雜訊消除

Single Image Reflection Removal with Edge Guidance, Reflection Classifier, and Recurrent Decomposition

張雅筑(Ya-Chu Chang)

指導教授 ： 莊仁輝 ； 邱維辰

國立交通大學/資訊學院/多媒體工程研究所/碩士(2020年)

摘要

在日常生活的拍照經驗中，我們時常會遇到畫面中有反射雜訊或干擾的情形，例如：當我們隔著玻璃對於玻璃之後的場景拍照時，所拍攝到的圖片通常會同時捕捉到經由玻璃反射所造成的反射干擾，因而破壞了圖片中原來想要拍攝的場景外觀。因此，如何移除此類反射現象在圖片上所造成的影響，其實是非常重要且具有相當實用價值的電腦視覺研究議題。在本研究中，我們提出了一種改良的深度學習模型，其能夠直接對於單張圖片進行反射干擾或雜訊的袪除。在我們的演算法中，我們首先將圖片經由深度模型分解為反射層以及透視層，其中透視層即為移除反射現象之後所得之圖片；接著，為了確保圖片的品質，我們在模型中引入了三種重要的輔助技術，包含了：邊緣資訊導引、反射分類器、以及反複拆解之技術，用以強化影像中的細節和同時增益反射干擾的移除效果。我們利用系統性的實驗對於此三種輔助技術進行分析，並驗證其貢獻與功效。此外，相較於其他反射消除的相關研究工作，我們所提出來的整體演算法能夠處理各種不同類型的反射圖像，並在定量和定性結果上獲得最佳結果。

關鍵字

影像反射雜訊消除 ； 影像分解

並列摘要

Removing undesired reflection from an image captured through a glass window is a notable task in computer vision. In this thesis, we propose a novel model with auxiliary techniques to tackle the problem of single image reflection removal. Our model takes a reflection contaminated image as input, and decomposes it into the reflection layer and the transmission layer. In order to ensure quality of the transmission layer, we introduce three auxiliary techniques into our architecture, including the edge guidance, a reflection classifier, and the recurrent decomposition. The contributions and the efficacy of these techniques are investigated and verified in the ablation study. Furthermore, in comparison to the state-of-the-art baselines of reflection removal, both quantitative and qualitative results demonstrate that our proposed method is able to deal with different kinds of images, achieving the best results in average.

並列關鍵字

Reflection Removal ； Image Decomposition

參考文獻

[1] Zhixiang Chi et al. “Single image reflection removal using deep encoder-decoder network”. In: ArXiv:1802.00094 (2018).

[2] Qingnan Fan et al. “A generic deep architecture for single image reflection removal and image smoothing”. In: IEEE International Conference on Computer Vision (ICCV). 2017.

[3] Renjie Wan et al. “CRRN: Multi-scale guided concurrent reflection removal network”. In: IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2018.

[4] Kaixuan Wei et al. “Single Image Reflection Removal Exploiting Misaligned Training Data and Network Enhancements”. In: IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2019.

[5] Qiang Wen et al. “Single Image Reflection Removal Beyond Linearity”. In: IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2019.