以可能值方法為基礎之多向度能力值垂直等化探究

The Research in Estimating Multidimensional Traits under Vertical Equating Based on Plausible Value Method

吳慧珉(Huey-Min Wu) ； 郭伯臣(Bor-Chen Kuo) ； 許天維(Tian-Wei Sheu) ； 陳婉寧(Wan-Ning Chen)

《測驗學刊》 62卷2期 (2015/06) Pp. 95-126

摘要

現今國際上幾個著名大型測驗均使用可能值方法呈現群體參數，因可能值方法在群體參數的回復性極佳，且大型測驗關注的焦點正是群體參數。建置大型測驗的目的通常是為了長期的教育成效評估，因此，如何檢視學生是否隨著年級不同而在某些能力值上有所不同，便成了一項值得關注的議題。透過垂直等化能使不同年級的受試者分別接受符合於其能力範圍的試題之後，將測量結果建置在同一量尺上，以進行能力高低之比較。本研究以多向度試題反應理論為基礎，使用垂直等化設計，探討不同題數、不同向度數對於能力參數估計的影響，並以不同估計方法與可能值方法進行比較。研究結果顯示，可能值方法在群體標準差的估計上有極佳的精準度，而群體能力平均數的估計則與其他估計法差不多；在多向度垂直等化設計下，每向度所對應的題數較多時則估計的效果較好。

關鍵字

大型測驗 ； 可能值方法 ； 多向度試題反應理論 ； 垂直等化 ； 能力估計

並列摘要

The purpose of large-scale assessment is to monitor group progress. Therefore, group statistics are what the large-scale assessment focus on. Plausible value method is proposed to be a great method that measures population statistics accurately so it is used to provide students' achievement data by some significant large-scale assessment programs. Vertical equating is the way test publishers used to longitudinally evaluate achievement that spans grade levels. This research is aimed to analysis if: (1) the method that used to estimate parameters; (2) the number of item for each dimension whether or not impact on the recovery of ability parameters of group statistics, based on multidimensional item response theory (MIRT) with the vertical equating design. The result indicates that plausible value method recovers the standard deviation very well but not outstands in recovering the population means. When using MIRT vertical design, parameters are estimated better when the number of items is more.

並列關鍵字

Large-scale assessments ； MIRT ； plausible value method ； trait estimation ； vertical equating

參考文獻

許天維、郭伯臣、吳慧珉、葉昶成(2013)。單向度試題反應理論之可能值方法於等化設計下之模擬實驗探究。測驗統計年刊。21(下)，1-24。

陳柏熹(2006)。能力估計方法對多項度電腦化適性測驗評量精準度的影響。教育心理學報。38(2)，195-211。

(Wu,M., Adams, R. J.,Wilson, M. R., & Haldane, A. H. (2007). ACER ConQuest 2.0 [computer program]. Hawthorn, Australia: ACER).

Adams, R. J.,Wilson, M.,Wang, W.(1997).The multidimensional random coefficients multinomial logit model.Applied Psychological Measurement.21(1),1-23.

Adams, R. J.,Wilson, M.,Wu, M.(1997).Multilevel item response models: An ap-proach to errors in variables regression.Journal of Educational and Behavioral Stat-istics.22,47-76.