虛無假設顯著性考驗的演進、議題與迷思

Null Hypothesis Significance Testing: Its Evolution, Current Use, Misuse, and Misconceptions

李茂能(Mao-Neng Fred Li)

《測驗統計年刊》 18期_上 (2010/06) Pp. 1-22

https://doi.org/10.6773/JRMS.201006.0001

摘要

本文旨在釐清虛無假設顯著性考驗過程中相關的議題與迷思，並凸顯p值與效果值的同等重要性。在相關議題方面，文中論及顯著性考驗之兩大派別與脈絡、點與區間虛無假設考驗、α值與p值的定義、為何需事先訂出α值、為何不要用「*」表示顯著水準、效果值分析與顯著性考驗是否同等重要、研究樣本到底要多大、及研究結果可複製性等議題。在迷思方面，主在探究α、p值的迷思、p值與實得統計考驗力之迷思、第一與第二類型錯誤之迷思。為避免顯著性考驗之誤用，文末提議採用兩套關卡進行統計的顯著性考驗，其中第一道關卡是p值的分析，第二道關卡是效果值的分析。量化研究的品質透過此兩套關卡才能確保，其研究結論方能更具運用價值。

關鍵字

虛無假設 ； 顯著性考驗 ； 效果值分析 ； 統計考驗力 ； 樣本規劃

並列摘要

This paper discusses some uses, misuses, and misconceptions of null hypothesis significance testing (NHST) in current social science research. First, the historical development of the Fisher test of significance and the Neyman-Pearson hypothesis testing are briefly described. Second, several critical issues related to NHST are discussed (e.g., α and p-values、point and range estimation). Third, several frequently asked questions about NHST are answered: Why should α be declared before data are collected? Why not use「*」to indicate a significant result? Are effect size analysis and statistical significance testing equally important? What is a sufficient sample size? Fourth, several misinterpretations of NHST are also discussed (e.g., α vs. p-value、p-value vs. statistical power, Type-Ⅰ vs. Type-Ⅱ error rates). Finally, to avoid misuse of NHST and ensure more practical or clinical significance, a two-step procedure (p-value analysis and effect size analysis) is proposed for evaluating a hypothesis and quality control.

並列關鍵字

Null hypothesis ； significance testing ； effect size analysis ； power ； sample size

參考文獻

朱國聖(2004)。國民小學教師實施資訊科技融入教學之評估與其應用障礙程度之研究。國立嘉義大學國民教育研究所。

李茂能(1998)。統計顯著性考驗的再省思。教育研究資訊。6(3)，103-115。

李茂能(2002)。量化研究的品管：統計考驗力與效果值分析。國民教育研究學報。8，1-24。

柳敦仁(2006)。雲嘉南五縣市國小初任校長行政表現與學校效能關係之研究。國立嘉義大學國民教育研究所。

翁秉仁（2000）。Fisher, Ronald Aylmer。Retrieved June 1, 2006 from the World Wide Web: http://episte.math.ntu.edu.tw/people/p_fisher