大型測驗等化群體不變性之探究：以2007年臺灣學生學習成就評量資料庫國中二年級數學科為例

Exploring the Population Invariance of Equating in the Large-Scale Assessments: Using the Taiwan Assessment of Student Achievement as an Example

王暄博(Hsuan-Po Wang) ； 郭伯臣(Bor-Chen Kuo) ； 呂玉如(Yu-Ju Lu)

《測驗學刊》 60卷3期 (2013/09) Pp. 489-518

摘要

本研究以2007年「臺灣學生學習成就評量資料庫」（TASA）國中二年級數學科的測驗資料為例，檢驗TASA測驗進行量尺程序後，其測驗分數是否有符合等化群體不變性之性質。本研究以性別進行分群，探討不同等化方法於性別受試者群體中是否保留群體不變性，包含：平均數與標準差法、平均數法、試題特徵曲線，以及測驗特徵曲線等不同量尺轉換方法，並搭配試題反應理論（IRT）真實分數與IRT觀察分數等化方法，共計八種等化方法。此外，採用Dorans與Holland（2000）提出之均方根誤差（RMSD）與均方根平均期望誤差（REMSD），以及Yang（2004）提出之均方根期望誤差（RESD）等三種方法來評估經過次群體等化後的群體不變性，並以SDTM為評估準則。研究結果顯示，TASA 2007年的數學科資料除了題本七有某些分數點超出SDTM標準值之外，其餘題本皆符合等化群體不變性。

關鍵字

IRT真實分數等化 ； IRT觀察分數等化 ； 群體不變性 ； 量尺轉換方法

並列摘要

This study aims to use test data from the Taiwan Assessment of Student Achievement (TASA) database to explore whether the test scores determined by the TASA complied with population invariance. Researchers used the TASA eighth grade mathematics data from 2007 and explored eight different equating methods to assess whether invariance was retained regarding the subjects' gender, including item response theory (IRT) true score and IRT observed score equating. This study also adopted four scale transformation methods, such as mean/mean, mean/sigma, Haebara, and Stocking-Lord procedures. Furthermore, Dorans and Hollands' (2000) RMSD and REMSD methods, as well as Yang's (2004) RESD method, were used to evaluate the population invariance after completed subpopulation equating. SDTM was the evaluation standard. The results showed that the TASA mathematics data correlated with the population invariance, except for the seventh booklet where a few points exceeded the SDTM standard.

並列關鍵字

IRT observed score equating ； IRT true score equating ； population invariance ； scale transformation method

參考文獻

教育部統計處（2010）。99 學年度國中學生、教職員統計。2011 年5 月23 日，取自http://www.edu.tw/statistics/

()。

Hanson, B. A., Zeng, L., & Chien, Y. (2004). ST: A computer program for IRT scale transformation [Computer software]. Retrieved March 10, 2011, from http://www.education.uiowa.edu/casma

Hanson, B. A., Zeng, L.,&Chien, Y. (2004). PIE: IRT true and observed scoring equating for dichotomously scored tests [Computer software]. Retrieved March 10, 2011, from http://www.education.uiowa.edu/casma

Brennan, R. L.,Kolen, M. J.(1987).Some practical issues in equating.Applied Psychological Measurement.11,279-290.