華語文聽力電腦化適性測驗成效分析─以CEFR A2 級為例

The Performance of computerized adaptive testing of Chinese listening comprehension – Using CEFR level A2 as an example

詹崇義(Chorng-Yih Jan)

指導教授 ： 郭伯臣

亞洲大學/資訊學院/資訊工程學系碩士在職專班/碩士(2012年)

摘要

中文摘要
目前國內的華語文能力測驗中仍以紙筆測驗為主，雖然有開發一些線上練習系統，但卻沒有電腦適性化的功能。歐洲共同語文參考架構（CEFR）主要在闡述整個歐洲語言的教學大綱、課程指引、教科書的編寫以及語言能力的評量，確實提供了清晰的外語學習標準。華語文能力測驗能若能與CEFR進行連結，透過CEFR具體的能力描述，一定能讓學習者清楚瞭解自身華語能力的程度。
基於上述動機，本研究目的分述如下：
本研究目的如下：
一、建置一個華語文聽力測驗系統，以CEFR的A2級為例，並加入適性化的機制，讓受試者及管理者都可以透過完備的介面來使用本系統。
二、以實徵資料模擬電腦化適性測驗系統的流程，以評估並分析系統之使用成效。
本研究過程中先以菲律賓僑校學生為預試對象，從施測結果分析試題的參數後，再以此實徵資料來模擬電腦化適性測驗系統的流程，以評估系統之使用成效。
研究結果：
一、成功建置華語文聽力測驗系統，也成功的加入了電腦適性化的模組，不僅讓受試者參加測驗後，可立即查詢自己的成果；還能提供完善的後端管理介面，讓管理者能掌握受試者能力，提供日後教學上之參考依據。
二、在不同能力估計法的模擬研究中，發現使用此華語文聽力試題時，整體而言，期望後驗估計法（EAP）優於最大概似估計法（MLE）及最大後驗估計法（MAP），所以建議使用此試題時，使用期望後驗估計法（EAP），經研究模擬後發現，藉由此系統的施測確實能達到電腦適性化測驗的功效。

關鍵字

CEFR ； 華語文 ； 試題參數 ； 電腦化適性測驗

並列摘要

Nowadays, paper-and-pencil-based testing is still the primary form of Chinese language proficiency testing today. Even though some online systems have been developed, they still lack adaptive function. The Common European Framework of Reference (CEFR) provides descriptions of language proficiency, guidelines on language learning, proficiency structure, and aspects of language communication. After long-term scientific research and broad discussions, CEFR does provide clear standards for learning a foreign language. If we can build a connection between CEFR and Chinese language proficiency testing system, the learners shall have a clear picture of their own Chinese ability level through the clear ability description of CEFR.
The purposes of this study were as follows:
1.To establish a “CEFR-based, adaptive Chinese listening comprehension test system which enables not only the testees but also the administrators to use the system through the user-friendly administrator interface.
2.To simulate the process of the computerized adaptive test system with empirical data in order to evaluate the effects of the system.
First of all, the test system was tested on 762 students from Philippine Chinese School; then, the item parameters were analyzed according to the test results. Lastly, the empirical data were used to simulate the process of the computerized adaptive test system. According to the analysis of the research results, it can be concluded that:
1.Successfully establishing Chinese listening comprehension test system allows testees to take tests and check test results immediately, as well as provides a back-end management platform for administrators to know the testees’ ability well.
2.According to the simulation research on different ability estimation methods, it is found that the expected a posteriori (EAP) estimation is better than the maximum likelihood estimation (MLE) and maximum a posteriori (MAP) estimation, as a whole, in the use of the Chinese reading comprehension test. Therefore, it is suggested that EAP be employed for the test.
Keywords: Chinese language, CEFR, Computerized adaptive testing, Item parameter

並列關鍵字

Computerized adaptive testing ； Item parameter ； CEFR ； Chinese language

參考文獻

藍珮君(2007)。基礎華語文能力測驗與歐洲語言共同參考架構的對應關係。第三屆華語文教學國際論壇。

曾彥鈞,劉育隆,郭伯臣,楊智為(2006)。以知識結構為基礎之適性化診斷測驗系統建置。TANET2006 台灣區網際網路研討會,花蓮教育大學,

謝友詩、劉湘川、郭伯臣(2006)。電腦適性測驗題目曝光率之模擬研究。測驗統計年刊， 14(上)。

陳柏熹（2006）。能力估計方法對多向度電腦化適性測驗測量精準度的影響。教育心理學報，38（2），195-211。

林淑珠(2010)。CEFR之A2級華語文互動能力電腦化試題研發。亞洲大學資訊工程學系碩士在職專班研究所碩士論文，未出版，台中縣。