利用特徵值圖塊之人臉影像超解析度技術之演算法及硬體架構設計

Algorithm and Hardware Architecture Design of Face Hallucination Using Eigen Patch

陳宏郁(Hong-Yuh Chen)

指導教授 ： 簡韶逸

國立臺灣大學/電機資訊學院/電子工程學研究所/碩士(2014年)

https://doi.org/10.6342/NTU.2014.02126

摘要

在監視系統中，人臉的辨識總是最重要的目標。但可能因為監控攝影機的感光元件品質不好，或是影片經過壓縮的原因，總是只能記錄到畫質不好的人臉影像。為了要提高更高的人臉辨識率，我們需要有畫質更好的影片。為了要提升影像的畫質，我們可以換畫質更好的攝影機，或是改善影片的壓縮技術，但也可以使用人臉的超解析度技術，人臉的超解析度是一種將人臉圖片由低解析度還原成高解析度的演算法。總而言之，我們的目標是設計出一種表現更好的人臉超解析度演算法，相關的硬體設計也會一併在這本論文中討論。

我們提出了一種低運算複雜度的人臉超解析度演算法，我們將它稱之為特徵值圖塊之人臉超解析度演算法。它能提供有豐富細節，並且銳利的高解析度圖片，我們的演算法是結合了特徵值轉換及圖塊人臉超解析度的架構，它有兩個主要的貢獻，第一點是在圖塊上做特徵值轉換，提升了高解析度圖片的畫質，也降低了原先圖塊人臉超解析度演算法的複雜度。第二點是我們加入的影像對齊機制，在正常情況中，輸入的人臉圖片並不會跟資料庫圖片對得很齊，這些些微的不對齊，會導致結果圖片的畫質降低，甚至會出現一些假影。我們的對齊機制會自動在低解析度的資料庫開一個搜尋空間，在這個搜尋空間中尋找最佳的對齊位置。在實驗結果中，也顯示出我們的演算法有比其他演算法較好的表現。
隨著安控系統的蓬勃發展，監控攝影機的畫質也扮演著日漸重要的角色，由影片中截取出的人臉，更顯示出其重要性，太低畫質的監控影片，截取出來也可能因為畫質的不足，而造成人臉辨識上的困難，相對的，也失去了監控攝影機原本應有的功用。

若要提升監控攝影機的畫質，有兩類方法可以達成這個目標。首先，最直接的就是提升攝影機內部的感光元件，可以直接達到影片的畫質提升；但相對的，攝影機的成本也跟著提高，影片所需的儲存空間，也會隨著畫質的提升，一併的增加，因此，改進感光元件的作法，在實行上，有一定的困難性。另外一類的作法，是利用一些超解析度演算法，來提升影片的解析度，以提升人臉辨識的準確率，這類方法的好處是，所須成本較提升感光元件少，攝影機的品質不用提升；缺點是影片的畫質可以提升的多少，完全取決於超解析度演算法的好壞。

因此，我們提出了一套針對人臉照片的超解析度演算法，除了可以大幅提升人臉影像的畫質外，我們也考慮了輸入的低解析度人臉圖片，與資料庫圖片無法完美對準的問題，所以在演算法中加入的一個簡單的對齊機制，讓演算法能自己找出最好的對準位置。我們的人臉超解析度演算法是結合特徵值及位置圖塊人臉超解析度演算法的架構，利用了圖塊能保留人臉特徵的特性，我們的特徵值圖塊能提供更佳的表現，這點可以從峰值信噪比及結構相性的評比中得到證明。

在硬體設計上，我們也簡化了原本演算法，將對齊機制移動到一個較早的位置，就不需要去還原所有不同對齊位置的圖片，只要去還原最佳對齊位置的圖片就好了，這新的架構使頻寬能夠大幅降低；我們也探討了資料庫圖片張數，對結果圖片品質的影響，讓我們可以減少資料庫圖片的數量，進而再降低頻寬。最後，我們的硬體能在輸入圖片大小為30 X 25時，每秒30張圖的情況下，達到四倍放大的效果。

關鍵字

人臉 ； 超解析度 ； 特徵值圖塊

並列摘要

In surveillance system, to recognize the human face is always the most principal target. Due to the low-quality sensor of surveillance camera and the compression by video coding, the captured facial images are usually in low-resolution. In order to reach a better face recognition rate, a better resolution of these facial images is needed. Besides enhance the quality of sensor or raise the performance of video coding, to enhance the resolution of desired facial images, the face hallucination can be applied.
Face hallucination is a super resolution process targeting on facial images. It can recover the related high-resolution image with rich details from a low-resolution facial image.
Therefore, the goal of our work is to improve the resolution targeting on low-resolution facial images. The corresponded hardware design is also provided.

We propose a low complexity face hallucination algorithm called eigen-patch which can provide high-resolution facial images with rich details and sharpness. Our eigen-patch algorithm combine the eigen-transformation face hallucination with the structure of position-patch based face hallucination.
This algorithm has two main contributions. First is conductiing the eigen-transformation on patch size. The eigen transformation raise the image quality and reduce the computational complexity without solving the least square problem.
The second contribution is the input image alignment skill. In usual case, the input low-resolution image would not be well-aligned. Therefore, the result high image will suffer from the artifacts and significant quality degradation. Based on the input low-resolution image, the input image alignment mechanism open a search range on database image in order to reach a better alignment. Experimental reuslts shows that the proposed face hallucination algorithm performs better than other ones.

In hardware architecture design, we also simplify the original Eigen-Patch algorithm. We shift the image alignm mechanism into an earlier position, as a result, we do not have to recover all the facial images of different position. Only the correct aligned one will be hallucinated. The new Eigen-Patch scheme reduce the system bandwidth. We also analysis the number of database images in order to reduce the number of database images. The reduction of database images can further decrease the system bandwidth. Finally, our hardware implementation can reach a 4 times hallucination with 30 X 25 input image in 30fps.

並列關鍵字

Face Hallucination ； Eigen-Patch

參考文獻

[1] William T Freeman, Thouis R Jones, and Egon C Pasztor, “Example-based super-resolution,” Computer Graphics and Applications, IEEE, vol. 22, no.

[3] Simon Baker and Takeo Kanade, “Limits on super-resolution and how to break them,” IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 24, no. 9, pp. 1167–1183, 2002.

[4] Hong Chang, Dit-Yan Yeung, and Yimin Xiong, “Super-resolution through neighbor embedding,” in Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004. CVPR 2004. IEEE, 2004, vol. 1, pp. I–275.

[5] Sung Cheol Park, Min Kyu Park, and Moon Gi Kang, “Super-resolution image reconstruction: a technical overview,” Signal Processing Magazine, IEEE, vol. 20, no. 3, pp. 21–36, 2003.

[6] Sina Farsiu, M Dirk Robinson, Michael Elad, and Peyman Milanfar, “Fast and robust multiframe super resolution,” IEEE Transactions on Image processing, vol. 13, no. 10, pp. 1327–1344, 2004.