基於反摺積運算及梯度資訊之快速影像超解析度技術

Fast Deconvolution-Based Image Super-Resolution Using Gradient Information

林俊佑(Chun-Yu Lin)

指導教授 ： 林嘉文

國立清華大學/電機資訊學院/電機工程學系/碩士(2009年)

https://doi.org/10.6843/NTHU.2009.00735

摘要

超解析度已有非常多的方法應用到許多領域，如影像/影片編輯軟體中放大演算法、轉換非HD的內容到HD顯示器、增強攝影機的解析度以提高追蹤辨識率、及亦可應用在編碼上。一般超解析度是要解決內差演算法所造成的模糊或格子效應，但大部份解決此問題的演算法都是屬於高計算量，且若是高計算量就不適合於在影片上。而對於一般使用者，是不可接受高時間的成本，因此我們使用快速的演算法，應用在影像及影片上，採用影像成像過程模型來還原失真的訊號。所以，我們提出一個利用非疊代反摺積運算並且加上梯度資訊當作限制條件，重建高解析度影像。在這裡提出二種取得梯度資訊方法，分別是基於濾波方法和學習方法。使用者選擇要快速得到高解度影像，使用濾波方法快速取得梯度資訊並重建，對於HD的解析度重建，使用matlab實現此演算法只需數秒的時間，但濾波的方法提高品質有限。因此使用學習方法取得梯度資訊，是一種patch演算法，可以估測出較好的梯度，進而可以得到較好的重建品質，但需要事先產生訓練資料，且速度較濾波方法慢。因此我們為了改進學習方法的速度，提出一個可調式的學習方法，意思不需要每一個patch都做此演算法，即可加快速度。此外，此演算法當使用濾波方法取得的梯度，可以直接應用於影片上，並不用考慮時間軸上的關係。

關鍵字

反摺積 ； 梯度資訊 ； 超解析度

並列摘要

Super-resolution can be applied to different fields in many aspects. Generally, super-resolution is used to solve the blurring effect resulted by interpolation, however, majority of the algorithm requires high computation. We restored the distort signal based on the image formula process model. Therefore, we proposed a non-iterative deconvolution with gradient priors as a restraint condition to reconstruct a high resolution image. Hereby, we shall propose two ways of getting the gradient priors which are the filter-based and the learning-based respectively. To require the gradient priors using the learning-based can get a better reconstruct quality. In addition, this algorithm can also apply directly to the videos without considering the relationship of the temporal coherence.

並列關鍵字

Deconvolution ； Gradient Priors ； Super-Resolution

參考文獻

[1] S. Baker and T. Kanade, “Limits on super-resolution and how to break them,” IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 24, no. 9, pp. 1167-1183, 2002.

[2] M. Irani and S. Peleg, “Motion analysis for image enhancement: resolution, occlusion and transparency,” Journal Visual Communication and Image Representation, vol. 4, no. 4, pp. 324-335, 1993.

[5] R. Keys, “Cubic convolution interpolation for digital image processing,” IEEE Trans. Acoustics, Speech and Signal Processing, vol. 29, no. 6, pp. 1153-1160, 1981.

[6] C. M. Bishop, A. Blake, and B. Marthi, “Super-resolution enhancement of video,” in Proc. Artificial Intelligence and Statistics, 2003.

[7] Q. Shan, Z. Li, J. Jia, and C.-K. Tang, “Fast image/video upsampling,” ACM Trans. Graphics, vol. 27, no. 5, 2008.