語音與視覺輸入影像的整合—讓聆聽經驗更豐富、更精確!
2018/7/12 分類:大師開講 作者:劉宇挺 點閱次數:7784
在先前的導論裡,我們曾經提到第二語言教師在設計語言教學或學習活動時,需要適時地導入「認知」的使用,讓語言的學習不只是依賴,或是建立在僅有涉入「語言」知識的使用過程中,而是同時涉入「語言」與「認知」的學習活動。我最近在知名兒童語言學習教科書商的一項產品上,就看到了這樣的概念。在他們設計的閱讀測驗中,讀者常常需要使用「非語言」(認知)面 向的知識,去回答「語言」知識的問題。例如: 讀者需要用星號「☆」圈出閱讀段落中,某一個 問題的答案;再用波浪底線「﹏﹏」標示出某個 詢問作者隱喻的關鍵字;在下一個問題當中,又需要使用「刪除線」在閱讀段落中刪掉贅字。最後,讀者還得使用三角形「∆」,在每一個未習得的字彙上方做標記。也就是說,為了完成這些語言相關的問題或任務,讀者得費盡心思地使用他們的認知知識(如各種形狀的對應知識)。當然,這套教科書的編者大可以要求直接用同一符號來標記(這樣對於認知知識的使用和負擔就不會那麼大),或是單純地使用文字回答(這樣可以讓讀者的所有任務都侷限在語言面向)。但是,這套教科書的編者之所以要讀者大費周章地使用認知,其背後就是希望讀者同時使用他們的語言與認知知識,來記得曾經讀過的東西,以加深印象,讓語言的學習不只是依賴(所習得過的)語言知識。
非語言視覺訊號的重要性
上述論點,與最近在頂尖專業語言學習期刊 Language Learning 中發表的兩篇文章,觀點不謀而合 (Worster et al., to appear; Méary et al., to appear)。這兩篇文章都是使用語言學習者的眼(球)動(作)資料,來研究語言聆聽過程中,是否只是單純涉及「語音」等語言知識的分析。他們發現在聆聽語言(語音)訊號的過程中,不論是大人或小孩 (Méary et al., to appear)、正常聽力或聽損人士 (Worster et al., to appear),都會不自覺地以眼睛去掃描分析面談者的臉部表情、嘴唇動作等非語言視覺訊號。這項語言(語音)與認知(非語言視覺訊號)知識的分析,是提供語言學習者精進發音(更知道如何發出某個音的細節)、熟悉何時可以在對話中適時打岔,或是加入對話 (conversational turn taking)的關鍵訊息。也就是說,提升聽力與發音不僅僅只是涉入語言(語音)分析的過程。語言學習者是否能夠適時地注意到,這些似乎與語言(語音)無直接相關的非語言視覺訊號,直接地預測了他們在句意理解的表現 (Worster et al., to appear)。而Méary et al.更發現,在聆聽過程中,分析非語言視覺訊號在語言技巧尚未成熟的小朋友身上,比在語言技巧較為成熟的人身上,扮演更重要的角色。而 Maurer 及 Mondloch (2005) 這兩個學者更發現,年紀較小的語言學習者更會分析、善用,及同時整合語言(語音)與認知(非語言視覺訊 號)知識,用來提升精進他們的聽力。這暗示著,教師在設計課堂聽力活動給年幼,或是語言知識尚未成熟的學生時,要確認此活動不僅僅只是涉入語言知識,還要確認此活動對於非語言(認知)知識的涉入比重。可是,若我們仔細回想平常在課堂中所使用的聆聽或聽力活動,往往都是僅涉入語言知識的活動,對於認知面向的需求相當有限。在年幼語言學習者的聆聽中,少數可以加入認知元素的聆聽活動,便是繪本互動帶讀。
「看得清楚」的聆聽活動
在此,我們要建議一種聆聽活動,讓教師可以使用於不同年齡的學習者,且可同時激發語言(語音)與認知(非語言視覺訊號)知識。如果上述在 Language Learning 所發表的文章發現與觀點是正確的話,我們似乎應該在語言學習者的 聆聽活動中,加強認知(非語言視覺訊號)知識分析的可能。可行的方式就是,使用教師自己或是錄製他人在口語產出過程中,針對臉部表情,甚至是嘴部/嘴形動作的影片(如右圖)。這種近距離針對臉部與嘴形特寫的影片,讓教師在授課時可以提供全班學生都「看得很清楚」的非語言視覺訊號分析的輸入。一般課堂上所使用的影片(如 YouTube 影片或現成教科書出版商所提供的),或是教師自行示範的發音活動中,由於影片取景(通常是全身或半身入鏡)或距離的關係(台上老師與台下每位學生的距離),學生不可能清楚地分析教師臉部表情或是嘴形動作。在這樣的聆聽環境下,學生自然就只會依賴語言(語音)的輸入來聆聽。這樣的特製影片(近距離針對臉部表情或嘴型),提供了近似嬰兒近距離觀看父母親和他們對話時的聆聽環境,進而鼓勵學生同時去分析輸入語料中的非語言視覺訊號,使用他們的認知去聯想語音和相對應的非語言視覺訊號的關聯。
至於影片中是否要再加入字幕,或是相對應的音標,則可以作為後續聆聽活動中的可能選項。加入字幕可以減輕語言(理解)面向上的負擔,使學生可以更專注於認知面、分析嘴形等非語言視覺訊號。加入音標則可以讓學生更清楚地知道,某個發音與相關臉部及嘴型的連結,這會比跟學生「講述」apple 中第一個(母)音 /æ/ 要 「張大嘴巴」,更能讓學生意會嘴巴要張得有多大。更重要的是,藉由上述的聆聽活動,教師不 需多費唇舌,就能讓第二語學習者複製與體驗學習母語時的聆聽經驗,強化他們多參酌語言(語音)知識之外的線索,也能讓語言教師不再需要完全依賴現成的影片,讓自身的輸入與示範更有意義。上述的教學idea其實也不盡然是新意,只是透過現行做法再微調 (fine-tuning the current practice) 。
語音教學的微調
語言教師常對於語音教學覺得無力,不知道要如何「教」語音(how to teach L2 pronunciation),才能讓學生正確地分辨與說出道地的第二語言。學生對於教師的示範也常常似乎是「耳背」("phonological deafness",對於相關議題的討論,請見:Maurer & Werker, 2014),無法真正「聽」進去。但是RiveraGaxiola et al. (2000) 針對第二語言學習者的腦波研究,卻發現第二語言學習者其實並沒有「耳背」;即使在聆聽母語中所沒有的音檔時,他們的腦波明顯地呈現出對於母語中不存在、雷同但不相似聲音的覺察。只是,這樣的覺察仍無法精確地反應在我們(研究學者)要求第二語言學習者執行的音辨任務/實驗中。這表示我們現行的語音教學還是有意義的,只是我們仍需要再「微調」, 以使我們的教學更有效。
參考文獻: Rivera-Gaxiola, M., Csibra, G., Johnson, M. H., & Karmiloff-Smith, A. (2000). Electrophysiological correlates of cross-linguistic speech perception in native English speakers. Behavioural Brain Research, 111(1-2), 13-23.
Maurer, D., & Mondloch, C. J. (2005). Neonatal synesthesia: A reevaluation. In C. L. Robertson & N. Sagiv (Eds.), Synesthesia: Perspectives from cognitive neuroscience (pp. 193–213). Oxford: Oxford University Press. Maurer, D., & Werker, J. F. (2014). Perceptual narrowing during infancy: A comparison of language and faces. Developmental Psychobiology, 56, 154–178. https://doi.org/10.1002/dev.21177
Méary, D., Jaggie, C., & Pascalis, O. (to appear). Multisensory Representation of Gender in Infants: An EyeTracking Study. Language Learning.
Worster, E., Pimperton, H., Ralph-Lewis, A., Monroy, L., Hulme, C., MacSweeney, M. (to appear). Eye movements during visual speech perception in deaf and hearing children. Language Learning
封面圖片來源:Freepik
------------------------------------------------------------
第48屆STYLE/JET英檢開放【索取簡章】囉~將於7/25陸續寄發簡章!
活動訊息 |
---|
延伸閱讀 |
---|
.培養學生以英語學習學科的 CLIL |
.以學生為中心之差異化分組教學及分站學習 |
.英語差異化教學:學前能力診斷 |
.善用圖形輸入與時限,增加認知投入 |
.字彙與寫作中的認知 |