以三維形變模型為基礎之視訊中人臉置換

3D Morphable Model Based Face Replacement in Video

鄭逸廷(Yi-Ting Cheng)

指導教授 ： 莊永裕

國立臺灣大學/電機資訊學院/資訊工程學研究所/碩士(2009年)

https://doi.org/10.6342/NTU.2009.02889

摘要

本論文提出了一個以三維形變模型(3D morphable model)為基礎
之視訊中人臉置換(face replacement)系統。此系統將來源人物(source
subject)在與目標人物(target subject)相似之角度、表情以及光照條件下
置換入目標影片中。視訊中人臉置換系統在特效產業以及娛樂產業中
極為有用，過去雖然有許多影像中人臉置換演算法被提出， 也有許多
現有軟體存在，然而應用到影片中仍然需要耗費大量的人力和時間。
本論文提出之人臉置換系統可大幅減少所需人力介入的需求，並且將
來源人物所需擷取資料量減少至只需一至兩張照片。此系統共有八個
主要模組，包括：人臉校準、方位估計、人臉擷取、三維人臉模型生
成、表情估計及生成、打光估計及人臉重打光、人臉影像生成、視訊
中影像合成。在這篇論文中，我們主要探討的主題是三維人臉模型生
成、表情估計及生成以及視訊中影像合成技術。為證實我們演算法的
有效性，我們將對電影中擷取之影像以及我們實際拍攝的影像進行測
試， 並且將結果完整呈現在論文之中。

關鍵字

人臉置換 ； 計算攝影學

並列摘要

This thesis presents a system that replaces the target subject face in the
target video with the source subject face, under similar pose, expression, and
illumination. Face replacement in video is a useful application in the entertainment
and special effect industries. However, the frame-by-frame manipulation
process using the software is often time-consuming and labor-intensive.
Our approach is based on 3D morphable model and a expression database,
and the input information of the source subject face is reduced to one to two
images, while the face replacement procedure requires little user interference.
Our system consists of several modules: face alignment, pose estimation, expression
estimation, face extraction, morphable model fitting, face synthesis,
face relighting, and composition. We mainly focus on morphable model fitting,
expression estimation, and composition in this thesis. To demonstrate
the effectiveness of our system, we test our implementation on both movie
clips and video we captured.

並列關鍵字

Face Replacement ； Computational Photography

參考文獻

[1] The prestige, 2006.

[2] Good luck chuck, 2007.

[4] T. Akimoto, Y. Suenaga, and R. S.Wallace. Automatic creation of 3d facial models.

IEEE Computer Graphics and Applications, 13(5):16–22, 1993.

automatically replacing faces in photographs. ACM Transactions on Graphics