【論文摘要】物理治療客觀結構式臨床技能測驗考題之信效度

【論文摘要】Reliability and Validity of the Objective Structured Clinical Examination in Physical Therapy

林宜仙(I-Hsien Lin) ； 陳曉宜(Shiau-Yee Chen) ； 張婷方(Ting-Fang Chang) ； 張堯舜(Yao-Shun Chang) ； 王乾勇(Chien-Yung Wang)

《物理治療》 45卷2期 (2020/06) Pp. 181-182

https://doi.org/10.6215/FJPT.202006.P60

摘要

背景與目的：客觀結構式臨床技能測驗（objective structured clinical examination, OSCE）是以事先設計好的標準模擬醫療情境，提供安全且有架構去評核學生知識、技能與態度的學習成效之表現能力。本研究用以分析OSCE檢核表的專家內容效度及評分者間的一致性信度。方法：OSCE從106學年下學期開始施測於北部某醫學中心的物理治療實習生共14位與新進醫事人員共2位，每次施測排定4至6個主題測驗站，含括物理治療四大次專科骨科、神經、小兒及心肺站，實習生施測時間安排於實習結束前一週，而學員測試安排於開始接受及完成新進人員訓練，目前共計有九個教案內容已完成至少2次測試修正及考官共識討論會後編修。於108年11月進行蒐集每一個OSCE教案各由6位臨床教學服務滿6年以上年資的專家，對於評分項目內容進行評估其測試內容之重要性，以五分制李克尺度量表（Liker scale）蒐集專家的意見選擇「非常不重要」1分、「不重要」2分、「尚可」3分、「重要」4分及「最重要」5分，專家效度檢定依據每位專家給分4分以上的題數除以總題數，得到的值即為內容效度指標（content validity index, CVI）。OSCE評分表中的檢查表評分次項目有10～18項不等，評分標準「沒有做到」0分、「部分做到」1分及「完全做到」2分，分數的計算以考生測試所得到的總分除以該教案的總分所得到值以百分比呈現。108年11月進行拍攝評分者間一致性信度測試影片，其拍攝場地於本院臨床技能中心考場，由經過訓練的標準病人來扮演情境內容與考生互動，並委派一名治療師錄攝整個測試過程，之後由17位物理治療師觀看測試影片內容進行測試評分，評分者間一致性信度以組內相關係數（intraclass correlation coefficient, ICC）檢測OSCE分數百分比，以Kendall和諧係數（Kelldall's Coefficient of concordance）依次序評分進行多個相關樣本檢定用以評估各評分者間信度。結果：本研究共建構9站OSCE考題，專家效度指標為0.93～1.0；評分者間一致性ICC值為0.87～0.99信度良好；Kendall和諧係數為0.429～0.702，顯著性p＜0.05，表示17位評分者的評分有顯著相關，一致性中等。結論：本院OSCE教案內容效度CVI高於標準0.8表示效度良好，在評分者信度分數百分比ICC值＞0.87具高度相關，而在檢查表次項目考官指引評分說明中有定義評分標準，且統計結果呈現顯著相關並具中等的一致性，探討其原因可能是對於評分標準有部分在主觀解讀不同，未來可以再由共識會議及再修訂明確描述每一細節評分判斷標準以提高未來對於評分之一致性。臨床意義：不同面向OSCE教案發展與建構考題信效度是值得去執行，良好的效度才足以去評核學生知識、技能與態度的學習表現能力，並可建立該教案於教學上之共識，而評分者間一致性用以提高測驗公平性與客觀性，提供發展物理治療OSCE評量之參考資訊。