利用光場資料之景深估測演算法與硬體架構設計

Light Field Based Depth Estimation Algorithm and Hardware Design

范姜士傑(Shih-Chieh Fan Chiang)

指導教授 ： 盧奕璋

國立臺灣大學/電機資訊學院/電子工程學研究所/碩士(2011年)

https://doi.org/10.6342/NTU.2011.02489

摘要

本篇論文將以現有的光場(light field)資料為基礎，提出景深估測(depth estimation)的演算法。在計算攝影學中(computational photography)，光場是一種描述空間中光的行進所使用的表示式，除了儲存光強度的二維座標之外，光場另外採用了兩個維度來儲存光的行進方向，即是以四維的子影像(sub-image)陣列來描述與儲存光線在空間中的行進。基於光場理論，我們可以透過分析所擷取的四維光場資料，將光線射出的位置重新計算定位，以達到如數位重新對焦(digital re-focusing)或是景深估測(depth estimation)等的不同應用，而於本論文中將針對景深估測提出演算法的實現與討論。
為了估測光場資料中物體的景深，我們提出三個基於光場理論所使用的景深估測演算法，分別為使用重新對焦後影像的快速傅立葉法(fast Fourier transform method)與直接使用四維光場影像的像差法(disparity method)和改良像差法(enhanced disparity method)。在快速傅立葉法中我們提出了一個銳利度評估方法來評估重新對焦後的影像與景物中物體距離的關係；而像差法與改良像差法皆利用絕對差平均(average absolute difference, AAD)計算每個景物在不同的子影像中的像差(disparity)，但改良像差法進一步透過平移量的可靠度判斷與分組加權平均改良其估測景深的精確度，進而推估景物的正確景深。
我們亦針對光場的景深估測應用做文獻回顧，僅有為數不多的文獻討論處理這些景深資料所需要的計算時間，然而，受限的運算速度將大幅限縮其應用性，因此，景深估測在應用上除了考量精確度之外，運算的時間亦不容忽視，而改良像差法其低複雜度的特性亦使針對此演算法的電路設計利於實現，以TSMC13製程估計，晶片尺寸為7.9185mm2，核心尺寸為4.6677mm2，運作頻率設計為100MHz，功率消耗為187mW。
除此之外，我們亦針對現有的針孔遮罩光場相機討論不同的針孔遮罩對於景深估測所造成的影響，透過本篇論文所提出的演算法與其實作的討論，以期能豐富基於光場影像的景深估測與其應用範圍。

關鍵字

光場 ； 景深估測 ； 針孔陣列遮罩 ； 硬體設計

並列摘要

In computational photography, four dimensional light field data areused to depict light rays in free space. Because the information of the light direction is recorded by the light field, applications such as digital refocusing or depth estimation can be achieved by properly rearranging light rays. In this thesis,we focus on algorithms and hardware realization of depth estimation applications.
To calculate the depth of the objects using light field data, we propose three algorithms to estimate the depth. The first approach isthe fast Fourier transform method which uses a sharpness scoring technique to evaluate the relationship between the score and the object depth. The second method and the third method are the disparity method and the enhanced disparity method, respectively. They both use the Average Absolute Difference(AAD)method to calculate disparitiesof four dimensional light field data, but the later method adds two techniques, confidence assignment and grouped averaging, to correct themiscalculated disparities.
Besides the three algorithms, Wediscuss how the differentpinhole array parameterscan affect our depth estimation results. We also implement hardware to increase the computationspeed of the enhanced disparity method. The chip and core sizesare7.9185mm2and4.6677mm2 respectively.The power consumption is 187mW when running at 100MHz.

並列關鍵字

light field ； depth estimation ； pinhole array mask ； hardware design

參考文獻

[14] Y. Kao, C. Liang, L. Chang, and H. Chen, “Depth detection of light field,” in IEEE International Conference on Acoustic, Speech, and Signal Processing, pp. 893-896, Apr. 2007.

[18] T. Georgiev, C. Zheng, B. Curless, D. Salesin, S. Nayar, and C. Intwala,　“Spatio-angular resolution tradeoff in integral photography,” in Eurographics Symposium on Rendering, pp. 263-272, Sep. 2006.

[2] E. H. Adelson, and J. Y. A. Wang, “Single lens stereo with a plenoptic camera,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 14, no. 2, pp. 99-106, Feb. 1992.

[8] C. Chen, Y. Lu, and M. Su, “Light field based digital refocusing using a DSLR camera with a pinhole array mask,” in IEEE International Conference on Acoustics, Speech, and Signal Processing, pp. 754-757, Mar. 2010.

[9] C. K. Liang, G. Liu, and H. H. Chen, “Light field acquisition using programmable aperture camera,” in IEEE International Conference on Image Processing, pp. 233-236, Sep. 2007.