Multilevel Modeling for Testing Whether Items Have Good Discrimination

傳統上判斷題目是否具有良好鑑別力，大多使用主觀的判準，例如鑑別力係數高於0.3或0.4。這種主觀的判準，缺乏統計學上的意義。Wang與Hung(2002)提出了判斷試題是否具有良好鑑別力的客觀統計方法。所謂良好鑑別力的定義就是：「能夠同樣有效的區分所有的分數點」。在這種定義之下，可以發現題目總分與題目答對率的關係是通過原點，且斜率為1/總分的直線。線性模式不適合於描述二元變項（對或錯）與總分間的關係，而宜用logistic分佈來描述。他們因此推導出最接近此條直線的logistic曲線。這條曲線就是判斷題目是否具有良好鑑別力的理論曲線。如果觀察的曲線與之相去甚遠，則表示該題目不具有良好鑑別力。 Wang與Hung(2002)的研究只限於探討二分題，本研究將之擴展於多分題，並推導出具有良好鑑別力的logistic曲線。除此之外，本研究並增加了誤差項的變異，形成多層次模式，以增加題目總分與題目反應間的預測效果。在層次一中，觀察的log-odds可以分解為平均log-odds和誤差變項。在層次二中，此平均log-odds被原始總分來加以預測，也包含另個誤差變項。在此多層次模式裡，同時估計此兩個誤差變項和迴歸係數。我們說明估計參數的方法。在檢定題目鑑別力方面，將計算的迴歸係數與理論的迴歸係數加以比較，如果達到統計上的顯著差異，就表示該題目的鑑別力並不良好。我們透過兩個實例分析來說明此一方法的意涵和步驟，一為1997年的大學聯考英文測驗50題選擇題，另一為20題的3點評等量尺的人格量表。我們並比較傳統作法與此一新作法的異同。基本上這兩種作法的結果不完全相同，尤其是當鑑別力在主觀判準的邊緣附近。我們的方法具有統計學上的基礎，但傳統的主觀判準沒有。

關鍵字

logistic迴歸；多層次模式；多分題；古典測驗理論

並列摘要

Several indices of item discrimination, such as the index of discrimination, have been used in routine item discrimination analysis. Because no objective criterion is available to judge whether an item has good discrimination, test analysts usually rely on subjective criteria, such as 0.3 for the index of discrimination, to screen bad items. Wang and Hung (2002) developed an objective procedure for testing whether dichotomous items have good discrimination. The present study generalizes their procedure to polytomous items. Moreover, multilevel models are proposed to further increase predictive precision. Parameter estimation and hypothesis testing are addressed. Two empirical examples of dichotomous items and rating scale items are provided to illustrate implication and applications of the proposed objective procedure.