以區塊為基礎的立體影像合成與操作

這篇論文呈現了一個以區塊為基礎的立體影像編輯與操作的架構。為了有效且成功地解決立體影像編輯與操作時會遇到的困難與挑戰，我們提出了一個無方向性加權的區塊合成技術。當計算相同大小區塊間的相似度時，這個技術會考慮到深度的結構，並且根據不同的權重貢獻不同的顏色。整個架構主要建立在最佳化的程序上，這個最佳化合成立體影像的過程會不停地重複兩個步驟，一個是找到最適合在左右眼的一組區塊，另一個則是修正像素的顏色。我們的方法很成功地保存來源圖片原本的細節和深度的結構，與目前最常被使用在立體影像編輯技術相比(Warping Approach)，我們的優點在於能夠處理空間錯位以及當遇到物體被前景遮住或是從遮住變成沒有被遮住的狀況時，能夠重新合成新的區塊來處理，而這些情況都是非常重要，並且要成功地處理立體影像編輯時會遇到的難題。這項新的技術非常的多樣而且適用於各式各樣不同的編輯狀況，包含改變影像的大小，改變影像裡面物件的位置，或是重新調整立體影像的深度感覺。我們的技術所產生出來的立體影像結果的品質以及自然程度都可以在使用者的測試中顯現得出來。

關鍵字

區塊；立體影像；影像合成；影像操作

並列摘要

This paper presents a framework for stereoscopic image manipulation based on patch synthesis. To address the challenges of stereoscopic image manipulation, we introduce an anisotropic weighted stereoscopic patch synthesis technique. It takes depth structures into account when measuring patch similarity and contributing to synthesis. An optimization procedure is employed to jointly synthesize both views by alternating between finding best matched patch pairs given images and refining pixel colors given patch matches. Our method preserves the texture details and depth structures of the source images. In contrast to popular stereoscopic warping approaches, the proposed method has the advantage of being capable of handling the spatial relation change and recreating occlusion/disocclusion, which are critical for successful stereoscopic image manipulations. The proposed technique is versatile and applicable to a variety of editing scenarios, including changing resolution, modifying content layout and remapping the depth range. User studies show that our method produces stereoscopic images with good stereoscopic quality and naturalness.

並列關鍵字

patch ； stereoscopic image ； image synthesis ； image manipulation

參考文獻

[1] M. Ashikhmin. Synthesizing natural textures. In Proceedings of the 2001 Symposium on

correspondence algorithm for structural image editing. ACM Transactions on Graphics,

[3] T. Basha, Y. Moses, and S. Avidan. Geometrically consistent stereo seam carving. In Proceedings

of the 13th IEEE International Conference on Computer Vision, pages 1816–1823,

[4] C.-H. Chang, C.-K. Liang, and Y.-Y. Chuang. Content-aware display adaptation and interactive

國際替代計量

以區塊為基礎的立體影像合成與操作

全文下載

主題瀏覽