以常態混組模型討論書籤標準設定法對英語聽讀基本能力標準設定有效性之輻合證據

Normal Mixture Model as Convergent Validity Evidence to Bookmark Standard Setting of English Reading and Listening Ability

吳毓瑩(Yuh-Yin Wu) ； 陳彥名(Yan-Ming Chen) ； 張郁雯(Yuwen Chang) ； 陳淑惠(Shu-hui Eileen Chen) ； 何東憲(Tung-Hsien He) ； 林俊吉(Jyun-Ji Lin)

《教育心理學報》 41卷1期 (2009/09) Pp. 69-89

https://doi.org/10.6251/BEP.20081015

摘要

本研究旨在探討書籤標準設定法（簡稱書籤標定法）應用於2005 年台灣學生學習成就資料庫(TASA, Taiwan Assessment of Student Achievement)中之「英語文學習成就評量」的英語聽讀基本能力標準設定(Standard Setting)的判斷歷程，以及所判斷結果之輻合證據的有效性。研究樣本有10101名小六學生，分層抽樣自全台各地，施測方式採取平衡不完全區塊設計(Balanced Incomplete Block Design)，將70個聽與讀的題目設計成6個40題組成的題本。書籤標定法標準設定會議由十三位專家（七位學科內容教授、三位測驗教授、以及三位英語專家教師）組成，會中共識設一切分點(Ө=-0.57)，通過組學生佔全體72.9%。本研究利用常態混組模型(normal mixture model)之計量模式結果作為書籤標定法有效程度的輻合證據(convergent evidence)，其估計的切分點(Ө=-0.40)與專家設定的分類結果達到.87之Kappa一致性。文末研究者提出實務使用上以及理論上的討論議題。

關鍵字

英語聽讀能力 ； 效度之輻合證據 ； 常態混組模型 ； 書籤標定法 ； 標準設定

並列摘要

This study investigated convergent validity of the bookmark standard setting method used for English reading and listening ability. The data set was obtained from 2005 Taiwan Assessment of Student Achievement (TASA) data bank. A total of 10101 sixth graders from different areas of Taiwan were cluster sampled and tested by a 40-item scale. The scale was developed through balanced incomplete block design out of 70 items. Thirteen experts formed bookmark standard setting seminar. Among them, 7 were university professors in the English-as-a-Foreign-Language (EFL) field, 3 were professors in measurement, and 3 were elementary school English master teachers. They attained the consensus of cut score Ө=-.57 with 72.7% of students were classified as passed. The result from normal mixture model (Ө=-.40) was consistent with the result from the bookmark standard setting method with classification consistency Kappa=.87, indicating convergent validity evidence. In line with this finding, issues on how to implement bookmark standard setting approach were further explored and discussed.

並列關鍵字

bookmark standard setting method ； convergent evidence of validity ； English reading and listening ability ； normal mixture model ； standard setting

參考文獻

余民寧(2002)。教育測驗與評量－成就測驗與教學評量。台北:心理。

王文中合著、呂金燮合著、吳毓瑩合著、張郁雯合著、張淑慧合著(2004)。教育測驗與評量。台北:五南。

教育部(2000)。國民小學九年一貫課程暫行綱要。台北:教育部。

教育部(2003)。國民小學九年一貫課程綱要。台北:教育部。

教育部(2004)。英語文學習領域能力指標解讀與示例手冊。台北:教育部。