不同方法設定英文科決斷分數之實務性研究

The Comparison of Two Standard Setting Methods on an English Test

謝名娟(Ming-Chuan Hsieh) ； 謝進昌(Jin-Chang Hsieh) ； 林世華(Sieh-Hwa Lin)

《測驗學刊》 60卷3期 (2013/09) Pp. 519-544

摘要

本研究之目的在比較書籤標定法與Yes/No Angoff標準設定方法在設定決斷分數上的差異，並使用TASA 2009年英文科來進行比較研究，研究結果顯示，兩種標準設定方法所做出的決斷分數略有不同，標準設定成員們認為，Yes/No Angoff法執行起來較為簡單，最終決定的決斷分數也較符合預期。然而，執行此方法所需要的會議時間較長；書籤標定法執行所需之時間雖然較短，然需要克服的技術層面較多，尤其在面臨題本難度順序與成員心中期望的難度順序不一致時，往往會影響成員放置書籤的決策。最後，本研究建議，雖Yes/No Angoff法執行上比較簡單，但是在時間與人力負荷考量下，若未來想要進行Yes/No Angoff法進行標準設定時，最好能預估兩天的時間，如此才能將題目充分進行討論，然而，對於題目較多的測驗或面臨人力不足的條件下，則較適合使用書籤標定法，並搭配加強標準設定成員訓練作為配套。

關鍵字

書籤標定法 ； 標準設定

並列摘要

This paper presents a comparison on two prevalent method, bookmark and yes/no Angoff method, for setting cut scores on educational assessments. The comparison is presented through an application with a Grade 6 English Assessment in Taiwan. The implementations for each method are described in detail along with comparative results for the application. It is found that the resulting cutoff points from these two methods are somewhat different. Judges regarded that yes/no Angoff method is easier to implement and the resulting cutoff points are more close to their expectation. Comparatively, there are more difficulties need to be solved for the bookmark procedure, especially when the item difficulty order does not follow judges' expectation. It is found that although the implementation of Yes/No Angoff method is simple, the Bookmark method still has some promising features.

並列關鍵字

Yes/No Angoff ； bookmark method ； standard setting

參考文獻

吳宜芳、鄒慧英、林娟如(2010)。標準設定效度驗證之探究：以大型數學學習成就評量為例。測驗學刊。57(1)，1-27。

吳毓瑩、陳彥名、張郁雯、陳淑惠、何東憲、林俊吉(2009)。以常態混組模型討論書籤標準設定法對英語聽讀基本能力標準設定有效性之幅合證據。教育心理學報。41(1)，69-90。

吳裕益(1986)。標準參照測驗通過分數設定方法之研究(博士論文)。國立政治大學教育研究所。

林惠芬(1993)。通過分數設定方法在護理人員檢覈筆試測驗之研究。測驗年刊。40，253-262。

陳彥名(2006)。臺灣學生學習成就資料庫（TASA）英語聽讀能力標準設定之效度探究(碩士論文)。國立臺北教育大學教育心理與諮商學系。