Concepts
seed著者parz1 ZHOU (構想)

p 值

假设零假设和检验模型成立,出现当前这么极端或更极端的检验结果的概率;它不是假设为真的概率。

statisticsstatistical-inferencehypothesis-testing

先把问题说清楚

想研究两组人的平均成绩是否不同,可以先设一个供检验的起点:总体中两组的平均成绩相同。这个起点叫“零假设”,通常记作 。它不表示我们已经相信两组相同,只是先问:如果相同,现在看到的差别有多不寻常?

样本即使来自相同的总体,也可能出现差别。统计检验会选一个衡量差别的量,叫“检验统计量”,并在零假设和其他模型条件下描述它如何波动。

p 值是:假设零假设及检验模型成立,得到当前这么极端或更极端的检验统计量的概率。 “极端”如何定义,取决于事先选择的检验和单侧、双侧方向;它不是当前这份数据恰好出现的概率。

一个能算清楚的例子

假设一枚硬币每次独立抛掷,正面概率为 。抛 10 次,观察到 9 次正面。

如果事先只检验“是否偏向正面”,就把 9 次或 10 次正面视作至少同样极端:

如果事先检验的是“是否不公平,不论偏向哪一面”,则 0、1、9、10 次正面都计入这个双侧例子的极端结果,得到 。

同一次观察,对应的问题不同,p 值也可以不同。不能看见 9 次正面以后,才为了得到更小的 p 值把双侧问题改成单侧。

这里的 表示:若硬币公平且各次独立,这种事先指定的单侧检验约有 1.07% 的机会得到至少这么偏向正面的结果。 它不表示“硬币公平的概率是 1.07%”。

0.05 是什么意思

研究者可以事先指定一个判断阈值,叫显著性水平,常记为 。常见的 是一种惯例选择,不是自然界规定的真假分界线。

按“ 就拒绝零假设”的规则,若检验条件满足,在零假设真的成立时,长期重复检验的误拒概率不超过 。这与“这一次拒绝有 5% 的概率出错”是两回事。

最容易读错的地方

看到的结果可以怎样理解不能直接推出什么
p 值小在指定模型下,结果比较极端,需要审视零假设或模型条件研究假设已被证明;因果关系成立
p 值大这次检验不足以拒绝零假设已证明没有差别或没有关系
与 按 0.05 规则落在阈值两侧两个结果的证据强度截然不同
样本很多时 p 值很小检验可能识别到很小的差别差别很大或有实际意义

差别有多大,需要另看“效应量”,例如均值差或相关系数;估计有多不确定,需要结合置信区间。p 值不能代替这些信息。美国统计学会的说明特别强调:不能把 p 值读作假设为真的概率,也不能只凭是否跨过阈值作科学结论。

一次做很多检验时

每项都单独看 ,会增加碰巧报告出显著结果的机会。这引出 错误发现率(FDR);BH 方法则是处理一组 p 值、在适用条件下控制 FDR 的具体方法。

还需要弄懂

  • 什么情况下应该选择单侧检验,什么情况下应该选择双侧?
  • 样本量、效应量、置信区间和 p 值怎样一起报告?
  • 检验所需的独立性、分布等条件不满足时,应怎样处理?

修订记录

  • 2026-11-01:建立统计学入门笔记。AI 辅助整理;硬币例子为教学构造,不使用研究个体数据。