結合輔助訊息之單向度試題反應理論能力值估計探究

Exploring the Quality of Ability Estimates through Incorporation of Ancillary Variables based on Unidimensional Item Response Theory

吳慧珉(Huey-Min Wu) ； 楊智為(Chih-Wei Yang) ； 辛柏緯(Po-Wei Hsin)

《測驗學刊》 64卷1期 (2017/03) Pp. 1-25

摘要

本研究旨在以單向度試題反應理論的三參數模式為基礎，探討結合輔助訊息之不同參數估計方法對於群體能力值之估計效益。文獻顯示在估計過程中，若能加入輔助變數，將有助於提升能力參數估計精準度。本研究採用之參數估計方法有期望後驗估計法、納入輔助訊息之期望後驗估計法與可能值方法三種，等化連結設計採平衡不完全區塊設計，題本長度共設計為15題與30題兩種，並使用TASA 2010國二數學科之實徵資料，探討納入背景變項後對於能力值估計之影響。研究結果顯示：在估計群體能力值之平均數方面，納入輔助訊息之期望後驗估計法與可能值方法皆遠優於期望後驗估計法；在群體標準差方面，可能值方法優於期望後驗估計法與納入輔助訊息之期望後驗估計法，故可能值方法較適用於群體能力值之估計；在估計群體能力參數部分，增加試題長度有助於提升估計精準度；在實徵資料部分，納入輔助訊息之期望後驗估計法與可能值方法於受試者群體能力平均數估計時有相近的估計結果。

關鍵字

可能值方法 ； 能力值估計 ； 試題反應理論 ； 臺灣學生學習成就評量資料庫 ； 輔助訊息

並列摘要

The purpose of this study was to explore the influence of different estimation methods based on a unidimensional three parameter logistic model. Many researches have showed that incorporating student’s background variables such as gender, age, race, and grade level into the estimation process can lead to unbiased and more precise ability estimates. This study was to explore the performance in ability estimation under different estimation methods (expected a-posteriori method, expected a-posteriori method with ancillary variable and plausible value method), and test length (15 and 30 items). In addition, the usefulness of the estimation methods was examined through its application to the Taiwan Assessment of Student Achievement 2010 eighth-grade mathematics test. The results showed that the performance of the expected a-posteriori method with ancillary variable and plausible value methods are better than that of the expected a-posteriori method when estimating the group means. The plausible value method gets better results than other methods in estimating group standard deviations. The result showed that when the test lengths increased, the estimation accuracy in abilities increased. In the real data experiment, the expected a-posteriori method with ancillary variable and plausible value method have similar result in estimating group means.

並列關鍵字

ability estimation ； ancillary variables ； item response theory ； plausible value ； Taiwan Assessment of Student Achievement

參考文獻

王敏嫻(2011)。不同水平等化設計於可能值方法之探討(碩士論文)。國立臺中教育大學。

王暄博(2006)。BIB 與NEAT 設計之水平及垂直等化效果比較(碩士論文)。國立臺中教育大學。

林陳涌編()。,未出版。

國家教育研究院(2010)。TASA2010 年資料使用手冊。新北市:作者。

張郁雯（2009）。國際教育成就評比的心理計量議題：以PIRLS為例。2013年5月19 日，取自http://www.tmue.edu.tw/~adeva/activity_photo/photo/nation/98/981109Pirls/file/981109p.pdf