跨語言溝通中手勢使用行為之多維資料庫

A Multidimensionally Codified Dataset of Speech- Accompanying Gesture in Cross-Lingual Communication

林冠宇(Kuan-Yu Lin)

指導教授 ： 王浩全

國立清華大學/電機資訊學院/資訊工程學系所/碩士(2017年)

摘要

手勢和語言之間的關連性及其如何輔助跨語言溝通一直是個值得探討的研究 議題。然而，傳統的手勢研究需要耗費大量的人力標註及分類手勢，在執行及測 量受試者的動作時亦非常耗時，因此如何透過一套有效的流程及工具來建立資料 集以輔助手勢研究實驗的發展是另外一個重要的議題。本篇論文透過蒐集跨語言 溝通實驗中的手勢資料，建立一個多面向的手勢資料集並探討上述議題。
此資料集中包含了多種不同面向的資料型態，例如:手勢的持續時間、手勢 量、四種不同意易的手勢資料(iconic、metaphoric、pointing、及 non-iconic gesture) 及溝通中的語料資料和影音等。相較於傳統手勢研究實驗所蒐集的語音及視訊資 料，此資料集中提供的資料面向更為廣泛，可提供手勢研究者一個新的發展方向。 除了這些多元的資料外，我們根據先前的研究整理出一套手勢資料量化及記錄的 流程，並設計一系列輔助工具以增進研究效率。我們使用了 Kinect-tapping toolkit 這套工具來蒐集溝通實驗中受試者的手勢動作及資料。這些肢體位置資訊可以透 過 unit motion 方法快速的篩選並建立手勢資料。此外，對於人工手勢標註方法， 我們也設計了一套手勢標註工具來增進人工分類的效率。
在此篇論文的後段，我們透過對此資料集中的不同資料進行一些基礎的分析， 示範如何操作此資料集，並透過這些溝通資料驗證過往研究中如溝通媒介的豐富 度與手勢間的關連性及手勢視覺化的輔助運用。這些分析不僅驗證了如以往研究 所提出的視覺豐富度會影響手勢的使用程度，我們並以此分析來示範資料集可以 如何被運用，並提供研究者在手勢研究上一個廣泛及不同角度的方向，減少過往 花在手勢量化資料建立所需的人力與時間。

關鍵字

電腦輔助溝通 ； 手勢 ； 跨語言溝通 ； 資料集 ； Kinect ； 視覺化

並列摘要

Motivated by the need to investigate the association between gesture use and language use in cross-lingual remote communication, and for the purpose of making gesture research more efficient and easily accessible, in this thesis we present a multidimensional codified gesture dataset. As part of this project, we also present tools and describe the complete methodology for coding and organizing gestures captured as video data.
Our dataset consists of data of communication behaviors in multiple dimensions (time duration, amount, speech content) of four categories of gestures (iconic, metaphoric, pointing, non-iconic) generated by 36 participants in two language groups (group EL1: native vs non-native speaker and group EL2: both non-native speakers) from a lab study. This dataset has been collected with a Kinect-taping tool and processed by an automatic data processing workflow that facilitates gesture categorizing. We accompany it by using methods of human coding for precisely aligning language data and non-verbal gesture data along the timeline of interpersonal communication.
Finally, we conduct a series of sample data analyses with statistical visualizations and exploratory analyses that aim to provide insights around the interaction processes of computer-mediated cross-lingual communication. We explore how gesture use associates with individuals’ comprehension and ideation. The dataset provides researchers with an open, archived dataset for exploring the gesture usage in cross-lingual communication and different communication media. The goal is to facilitate the procedure of gesture coding and lower the human cost of it, reducing barriers in research on multimodal interpersonal communication.

並列關鍵字

Computer-mediated communication ； Gesture ； Cross-lingual communication ； Dataset ； Kinect ； Visualization

參考文獻

1. Anne M. Treisman and Garry Gelade. 1980. A feature- integration theory of attention. Cognitive Psychology 12, 1 (January 1980), 97–136. http://dx.doi.org/10.1016/0010-0285(80)90005-5.

2. Beattie, Geoffrey W. "A further investigation of the cognitive interference hypothesis of gaze patterns during conversation." British Journal of Social Psychology 20.4 (1981): 243-248.

3. Ping, Raedy, and Susan Goldin‐Meadow. "Gesturing saves cognitive resources when talking about nonpresent objects." Cognitive Science 34.4 (2010): 602-619.

4. Richard L. Daft & Robert, H. Lengel. 1986. Organizational information requirements, media richness and structural design. Management Science, 32, 5 (May 1986), 554-571.

6. McNeill, D. (1992). Hand and mind: What gestures reveal about thought. Chicago: University of Chicago Press.