先把问题说清楚
想研究两组人的平均成绩是否不同,可以先设一个供检验的起点:总体中两组的平均成绩相同。这个起点叫“零假设”,通常记作 。它不表示我们已经相信两组相同,只是先问:如果相同,现在看到的差别有多不寻常?
样本即使来自相同的总体,也可能出现差别。统计检验会选一个衡量差别的量,叫“检验统计量”,并在零假设和其他模型条件下描述它如何波动。
p 值是:假设零假设及检验模型成立,得到当前这么极端或更极端的检验统计量的概率。 “极端”如何定义,取决于事先选择的检验和单侧、双侧方向;它不是当前这份数据恰好出现的概率。
一个能算清楚的例子
假设一枚硬币每次独立抛掷,正面概率为 。抛 10 次,观察到 9 次正面。
如果事先只检验“是否偏向正面”,就把 9 次或 10 次正面视作至少同样极端:
如果事先检验的是“是否不公平,不论偏向哪一面”,则 0、1、9、10 次正面都计入这个双侧例子的极端结果,得到 。
同一次观察,对应的问题不同,p 值也可以不同。不能看见 9 次正面以后,才为了得到更小的 p 值把双侧问题改成单侧。
这里的 表示:若硬币公平且各次独立,这种事先指定的单侧检验约有 1.07% 的机会得到至少这么偏向正面的结果。 它不表示“硬币公平的概率是 1.07%”。
0.05 是什么意思
研究者可以事先指定一个判断阈值,叫显著性水平,常记为 。常见的 是一种惯例选择,不是自然界规定的真假分界线。
按“ 就拒绝零假设”的规则,若检验条件满足,在零假设真的成立时,长期重复检验的误拒概率不超过 。这与“这一次拒绝有 5% 的概率出错”是两回事。
最容易读错的地方
| 看到的结果 | 可以怎样理解 | 不能直接推出什么 |
|---|---|---|
| p 值小 | 在指定模型下,结果比较极端,需要审视零假设或模型条件 | 研究假设已被证明;因果关系成立 |
| p 值大 | 这次检验不足以拒绝零假设 | 已证明没有差别或没有关系 |
| 与 | 按 0.05 规则落在阈值两侧 | 两个结果的证据强度截然不同 |
| 样本很多时 p 值很小 | 检验可能识别到很小的差别 | 差别很大或有实际意义 |
差别有多大,需要另看“效应量”,例如均值差或相关系数;估计有多不确定,需要结合置信区间。p 值不能代替这些信息。美国统计学会的说明特别强调:不能把 p 值读作假设为真的概率,也不能只凭是否跨过阈值作科学结论。
一次做很多检验时
每项都单独看 ,会增加碰巧报告出显著结果的机会。这引出 错误发现率(FDR);BH 方法则是处理一组 p 值、在适用条件下控制 FDR 的具体方法。
还需要弄懂
- 什么情况下应该选择单侧检验,什么情况下应该选择双侧?
- 样本量、效应量、置信区间和 p 值怎样一起报告?
- 检验所需的独立性、分布等条件不满足时,应怎样处理?
修订记录
- 2026-11-01:建立统计学入门笔记。AI 辅助整理;硬币例子为教学构造,不使用研究个体数据。