同步視聽訊息處理對語音知覺影響的功能性磁振造影研究

Neural Correlates of Vowel Perception Modulated by Audio-visual Asynchrony

陳巧瑜(Chiao-Yu Chen)

指導教授 ： 林發暄

國立臺灣大學/工學院/醫學工程學研究所/碩士(2011年)

https://doi.org/10.6342/NTU.2011.00999

摘要

多重感官的整合(multisensory integration)能使我們對事物可以有整體統一的認知 ，並提高我們對事物認知的精確度。舉例來說，日常生活中與人面對面的交談通常是藉由多重感官整合來完成：我們接收到來自對方的視覺(唇語)與聽覺(講話聲音)訊號。來自各感官通道(視覺與聽覺)刺激彼此的時間靠近與否，是多重感官訊息能否整合的關鍵因素。然而視覺與聽覺刺激的接收並不一定要是絕對的同時發生才能產生多重感官的整合。過去的行為研究發現，視覺領先聲音會比聲音領先視覺還要不容易察覺發生訊號時間不同步的狀況。
此一現象可以用容許整合視覺與聽覺的時間區間(window of temporal integration)概念來說明：當刺激彼此的時間差只要落在這個範圍內，即使刺激是不同步出現的，人們也不會察覺。研究指出在人類說話的例子中，當視覺領先聽覺258 ms以內，人們仍可感知到視聽是同步的；而視覺領先聽覺500 ms以後，人們可以100%感知到視聽是不同步的。
本論文想研究人腦在處理行為上無法感知到視聽不同步的視聽整合及可感知到視聽不同步的視聽整合時，對多通道刺激間時間差的腦神經活動區域是否發生在腦部負責整合多通道訊息的整合區(multisensory integration area)。我們讓受試者看母音發音時的臉部，並播放和視覺時間同步、時間落後168ms及時間落後500ms的母音發音的聲音。其中，聽覺落後視覺168ms的時間差是在受試者不會察覺不同步的時間整合範圍內，而聽覺落後視覺500ms的時間差是在授事者會察覺不同步的時間整合範圍外。用功能性磁振造影(functional magnetic resonance imaging)來觀察人腦受刺激時腦部血氧濃度的變化(blood oxygenation level-dependency)。我們比較在聽覺落後視覺168ms時和視聽同步時腦部血氧活動的情形，發現在左邊腦島(insula)的位置有顯著的活動。比較在聽覺落後視覺500ms時和視聽同步時腦部血氧活動的情形，發現除了左邊腦島，在左右半腦的顳葉上迴(superior temporal gyrus)處也有顯著的活動。我們推斷，聽覺落後視覺的時間若是落在不會察覺不同步的範圍內時，只需要左腦島就可整合不同時的視聽訊號；而聽覺落後時覺得時間若是可被查覺到不同步時，除了左腦島，還需要左右半腦的顳葉上迴參與整合。

關鍵字

視覺 ； 聽覺 ； 功能性磁振造影 ； 多通道感官整合 ； 時間 ； 腦島 ； 顳葉上迴 ； 母音

並列摘要

Intersensory temporal synchrony is critical in multisensory integration. Human brain has the ability to combine information from different sense modalities as a unified perception when stimuli are presented with a minor temporal latency . For example, we have congruent speech perception even though auditory (heard speech) and visual (lip-reading) stimuli are sent through different physical mechanisms and speeds. Little is known about how brain detects temporal asynchrony between audiovisual stimuli. To study where in the brain is sensitive to asynchrony of audio-visual speech and associated with vowel processing, we presented vowel sounds and short video clips of the articulatory gestures with three audio-visual latencies, which are simultaneous, asynchronous inside the window of temporal integration, and asynchronous outside the temporal integration. Based on the BOLD-contrast fMRI from11 participants, we found that the bilateral superior temporal gyri have stronger activation when the audio-visual stimulus latency increase. The left insula is more significantly activated by asynchronous audio-visual stimuli with latency inside the integration window than simultaneous stimuli. Not only the insula but also bilateral superior temporal gyri are activated significantly when audio-visual stimuli are asynchrous with a latency outside the integration window. These results suggest that bilateral superior gyri and left insula integrate the lagged auditory stimuli to the visual stimuli, and the left insula is more sensitive to the temporal the asynchrony of audio-visual speech than bilateral gyri.

並列關鍵字

audiovisual ； functional magnetic resonance imaging ； multisensory integration ； temporal ； insula ； superior temporal gyrus ； vowel

參考文獻

2. Balk, M.H., et al., Synchrony of audio-visual speech stimuli modulates left superior temporal sulcus. Neuroreport, 2010. 21(12): p. 822-6.

3. Mcgurk, H. and J. Macdonald, Hearing Lips and Seeing Voices. Nature, 1976. 264(5588): p. 746-748.

5. Calvert, G.A., Crossmodal processing in the human brain: insights from functional neuroimaging studies. Cereb Cortex, 2001. 11(12): p. 1110-23.

6. Hartline, P.H., et al., Effects of eye position on auditory localization and neural representation of space in superior colliculus of cats. Exp Brain Res, 1995. 104(3): p. 402-8.

7. Alais, D., F.N. Newell, and P. Mamassian, Multisensory processing in review: from physiology to behaviour. Seeing and Perceiving, 2010. 23(1): p. 3-38.