針對網球應用之互動式運動影片系統設計

System Design for Interactive Sports Video Targeting Tennis Applications

賴瑞欣(Jui-Hsin Lai)

指導教授 ： 簡韶逸

國立臺灣大學/電機資訊學院/電子工程學研究所/博士(2011年)

https://doi.org/10.6342/NTU.2011.03354

摘要

在這十幾年來，多媒體的發展日新月異，我們的生活也因為多媒體的出現而變得更加豐富，毫無疑問的，多媒體是近代最重要的發明之一。此外，隨著電視顯示技術的進步，廣播傳送設備的提昇，觀賞者已經能夠與傳送端互動並且要求觀賞客製化的影音內容。在這篇博士論文中，我們提出的一個次世代多媒體，它具備多樣的功能性：影片內容註解、新奇視覺效果、可延伸性影片與互動式影片。然而縱觀現今多媒體的方法中，並沒有一個非常合適的方法來實現次世代多媒體。所以，我們提出了一個新的多媒體展現方法『基於影片的影片生成技術』，該技術可以利用一般拍攝的圖片或是影片來生成一段新的影片，因為該生成影片的內容來自於一般拍攝的圖片或是影片，所以它具有非常真實的視覺效果，使用者並不感覺畫面不真實，而且該影片內容還可以隨著使用者的要求而作改變、甚至互動。在『基於影片的影片生成技術』的架構下，我們提出了嶄新的應用、影像處理演算法以及硬體架構設計，來實現新一代的多媒體。

『次世代網球影片』是『基於影片的影片生成技術』所延伸的應用之一，概括的說，『次世代網球影片』是一個全新展示運動影片的方法，該方法具有以下三個重要的特性：影片結構性、內容互動性以及檔案大小可延伸性。在演算法方面，藉由背景建構的技術、前景物體切割的技術以及物體在畫面中資訊的分析，影片中的前後場景可以依序地被分離，球員位置、球軌跡等都可以被註解。接著，我們提出了影片生成的方法，將這些分解後的影片內容重組，達成客製化影片與可延伸性影片的功能。從實驗結果來看，生成的影片具有栩栩如生的視覺效果，後製插入的內容也天衣無縫般的融合在影片中，此外，讓前後時間球員同時出現在畫面中的功能，更帶給觀賞者有趣的視覺效果。值得一提的，戰術搜尋的功能讓使用者直接在影片中的場地上點擊想要看到對戰組合，其搜尋結果會馬上顯示播放。讓受測者評分方面，他們認為可延伸性影片的觀賞品質比現今方法都來的好，而且他們也非常樂意利用『次世代網球影片』的功能，來觀賞運動比賽。據我們所知，『次世代網球影片』是第一個結合影片內容註解、提昇影片內容豐富性以及可延伸性影片等多功能應用的架構。

『網球真人快打』是另外一個『基於影片的影片生成技術』的應用，它是一個利用比賽影片所建構出來的互動式遊戲，而且也是一個結合影片內容註解、影片生成技術以及互動式遊戲的創新應用。關於影片內容分析的演算法，我們提出利用影片內容來建立球員資料庫的方法，並且使用球員動作的模型來模擬所有該球員在球場上可能的動作。關於球員生成的演算法，我們利用片段的球員動作，組合出任意的球員移動、擊球等，在結合立體背景生成的技術下，一個互動式的遊戲架構就大功告成了。從實驗結果得知，相較於電腦繪圖，我們不用非常繁複的運算就可以生成栩栩如生的遊戲畫面，此外，該生成的球員所表現出來的運動特性，都會反應該球員在現實運動影片中的表現，如此真實的特性，更可拿來預測真實世界中兩個球員對打的結果。在使用者評分方面，受測者非常肯定藉由玩『網球真人快打』可以提昇與影片的互動性、參與感以及樂趣。

由於『基於影片的影片生成技術』應用的運算量都不小且必須即時運算，所以我們需要設計一個強大的運算單元。於是我們設計了『影片生成引擎』專門計算影片生成所需要的運算，該晶片還可以嵌入在電視系統中。從實驗結果顯示，該『影片生成引擎』具有架構重組的特性，能針對不同的應用做不同的運算，最少能支援以下應用的運算：全景圖、同心圓全景圖、立體景深圖、『次世代網球影片』與『網球真人快打』。在運算能力評比方面，『影片生成引擎』甚至超越2.83 GHz的Core2Due CPU。我們可以下個簡單的結論，有了『影片生成引擎』的強大運算能力與嵌入在電視內的特性，『基於影片的影片生成技術』的應用就可以落實在我們的日常生活中。

關鍵字

網球影片 ； 多媒體 ； 系統設計 ； 互動影片 ； 晶片設計

並列摘要

With the development of TV technology and the progress of broadcasting system, users have the ability to interact with the content provider and even watch the customized video contents. In this dissertation, a next-generation multimedia is proposed with versatile functions: video annotation, visual effect, scalable video and interactive video. For the current methods to present the multimedia, like 3D video, image-based rendering and graphics, can not appropriately implement the versatility of multimedia. Thus, we propose the Video-based Video Rendering, a method to render the video with natural images or videos, to implement the versatility of multimedia. Based on the framework of Video-based Video Rendering, novel applications, algorithms of video processing and architecture designs are presented.

One of the applications extended from Video-based Video Rendering is Tennis Video 2.0, which is a novel presentation method for sports videos with properties of Structure, Interactivity, and Scalability. By the new methods of video analysis---background construction, player segmentation and ball trajectory extraction, the video contents are fully annotated and separated into different layers. Next, we propose the video rendering to integrate the video contents, generate the customized videos, and provide scalable video in the semantic domain. The experiments show that video rendering can generate the videos with vivid players, seamless score insertion and more interesting viewing effects. In addition, the strategy search is a convenient way to search the favorite event by clicking the hitting patterns on the court. From the user studies, the scalable video with the proposed semantic scalability has better viewing quality than that compressed by Scalable Video Coding, and users think they are willing to watch a match video with the functions of Tennis Video 2.0. To the best of our knowledge, Tennis Video 2.0 is the first work to construct the framework of video applications including video annotation, video enrichment, content insertion and scalable video.

Another application of Video-based Video Rendering is Tennis Real Play, which is an interactive game constructed from match videos and is also a novel application combining the topics of video annotation, video rendering and interactive game. As techniques for player model creation, we propose a database normalization process and a 4-state-transition behavioral model of tennis players. For player rendering, we propose clip selection, smoothing transitions, and a framework combining a 3D model with video-based rendering. Experiments show that vivid rendering results can be generated with low computational requirements. Moreover, the player model can adequately record the ability and condition of a player, which can then be used to roughly predict the results of real tennis matches. User studies reveal that subjects identify with increased interaction, immersive experience, and enjoyment from playing Tennis Real Play.

The computation of applications of Video-based Video Rendering is heavy and has the real-time requirements, thus there needs a powerful processor for the computation of video rendering. As for the architecture design, we design the Video Rendering Engine, which is specific for the computation of video rendering and can be embedded in the TV system. The experimental results show that it has the reconfigurable architecture to process the computation of various applications: panorama, concentric mosaics, depth-image-based rendering, Tennis Video 2.0 and Tennis Real Play. Especially, it even has the higher computation ability than a Core2Due 2.83 CPU. It can say that the Video Rendering Engine brings the applications of Video-based Video Rendering into our daily life.

並列關鍵字

tennis video ； multimedia ； system design ； interactive video ； chip design

參考文獻

Suh-Yin Lee, “A trajectory-based ball tracking framework with visual enrichment

sports video analysis using fast 3-d camera modeling,” IEEE Transactions

on Circuits and Systems for Video Technology, vol. 18, no. 11, pp. 1628–

1638, 2008.

layer separation and real-time rendering in sprite plane,” in Proceedings