IRT軟體估計精確度之比較

劉湘川 ； 許天維 ； 鄭富森

《測驗統計年刊》 6期 (1998/12) Pp. 1-114

https://doi.org/10.6773/JRMS.199812.0001

摘要

本研究係同時採用電腦模擬資料與真實測驗資料，利用參數對數模式製造二元計分資料，來測試BILOG-MG、ICCNP、MULTILOG、PARSCALE等四種IRT軟體的實際應用情形及其參數估計精準度。本研究使用兩個模擬試驗來進行研究。第一個模擬試驗是利用BILOG-MG分析八筆實徵資料之參數值來進行模擬試驗。第二個模擬試驗則是利用模擬之參數值來進行模擬試驗。並且假設能力參數、鑑別度參數及難易度參數皆為常態分配，猜測度參數則為0.25，受試者人數共分為100、200、500、1000、2000人五種情形，試題數則分為10、25、50題三種情形。以下為本研究之研究結果：1.在軟體的執行上，以ICCNP在使用上最為方便。BILOG-MG與PARSCALE差不多，而MULTILOG則是執行最為麻煩且較不易懂的一種軟體。2.能力值的估計：在第一個模擬試驗中，整體而言，無參數的ICCNP比其他三種參數IRT稍微好一些。而三種參數IRT軟體中，以BILOG-MG的估計最好，PARSCALE次之，MULTILOG最差；但是，三者的差異都不大。因此，在實際的情境中，以ICCNP較適用。在第二個模擬試驗中，當試題數為10題時，四種軟體之差異不大，但BILOG-MG比其他三者稍微好一些。當試題數為25、50題時，可以很明顯的看出PARSCALE最差，而BILOG-MG與MULTILOG相當接近，ICCNP最好。所以，若各種參數為常態分配，則BILOG-MG和MULTILOG較為適用，否則以ICCNP為最佳選擇。3.試題參數值的估計：BILOG-MG、MULTILOG、PARSCALE對於鑑別度參數、難易度參數及猜測度參數的估計，大致上來說，都是以BILOG-MG的估計最為精確與穩定。

並列摘要

The study used real test data and computer simulation data to test the accuracy of parameter estimation of four IRT software, ie. BILOGMG, ICCNP, MULTILOG, and PARCALE.The study included two research designs. The estimated values of ability parameters and item parameters were obtained by BILOG-MG analyzing real data in the first simulation study. Supposing ability parameter, discrimination parameter and difficulty parameter are normal distribution and guessing parameter equal 0.25 in the second simulation study. There are five different numbers of items 10, 25, and 50.Listed below is the main result of this study.1. ICCNP is easier to use. Running both of BILOG-MG and PARSCALE are similar. MULTILOG is the most difficult than the others.2. ICCNP is better than the other's IRT software for the estimate of ability in the first simulation study. When item numbers are 10, BILOG-MG is better than the others. When item numbers are 25, the difference between BILOG-MG and MULTILOG is almost the same. PARSCALE is last. Without normality assumption, ICCNP is always the best choices.3. Comparing to BILOG-MG, MULTILOG & PARSCALE, BILOG-MG is the most accuracy and steady for the estimate of item parameter.