概念
种子作者parz1 ZHOU (构思)

错误发现率(FDR)

在重复进行同类多重检验的意义下,所报告发现中错误发现比例的期望;它不是某一项结果为假的概率。

statisticsstatistical-inferencehypothesis-testingmultiple-testing

为什么需要看一组检验

p 值帮助我们评价一项检验的结果,但一次研究可能同时检验很多关系。

设有 20 项实际上都没有效应的检验,每项误拒概率都是 0.05,且彼此独立。如果每项都直接按 0.05 判断,那么至少出现一次误拒的概率是:

也就是约 64.2%。这算的是“至少错一次”的概率,不是 FDR 的定义,但它说明了为什么不能忽略同时检验的数量。

“发现”与“错误发现”指什么

这里把拒绝零假设、准备报告为显著结果的一项检验称为“发现”。若该项零假设其实为真,这个拒绝就是“错误发现”。“发现”只是统计决策的名称,不表示结论已经被证实。

一次分析中,令:

  • 为全部发现的数量,包括正确和错误的发现。
  • 为其中错误发现的数量。

这一次的错误发现比例叫 FDP(False Discovery Proportion):

当没有发现,即 时,约定比例为 0,避免除以零。实际研究中我们通常不知道哪些零假设真的成立,因此也不知道真实的 。

FDR(False Discovery Rate,错误发现率)是这个比例在重复抽样与分析中的期望:

“期望”可以先理解为:反复进行同类研究,每次先算出自己的 FDP,再看这些比例的长期平均。不是先汇总所有研究的错误数再除以总发现数。

控制在 5% 意味着什么

控制 FDR 在 0.05,是说在方法适用条件下,上述平均水平不超过 5%。这个保证针对一套检验程序,而不是给每项发现附上一个真伪概率。

它不保证:

  • 这次得到 20 项发现,其中必然最多只有 1 项错误。
  • 某一项通过的结果只有 5% 的概率是假的。
  • 换数据、换分析方式后,所有发现都会复现。

FDR 也不同于“家族错误率” FWER(Family-Wise Error Rate):FWER 控制一组检验中至少发生一次错误发现的概率;FDR 控制错误发现比例的期望。两者针对不同的风险目标。R 官方多重比较文档说明了这种区别以及相应的校正方法。

FDR 不是一种唯一的校正算法

FDR 是控制目标,Benjamini–Hochberg(BH)方法是实现该目标的一种具体程序。BH、其他 FDR 控制程序和估计单项错误概率的方法,不能只因都涉及“假发现”就混为一谈。

每次使用时还要解释:哪些检验组成同一组,为什么把它们放在一起。不能先挑出最小的几个 p 值,再假装只做过这几个检验。

定义与最初方法可追溯到 Benjamini 与 Hochberg 的 1995 年论文。

还需要弄懂

  • 哪些问题更适合控制 FWER,哪些适合控制 FDR?
  • 多个指标、多个分组和多种分析方式应怎样界定检验集合?
  • 检验之间有关联时,哪些程序仍有保证?

修订记录

  • 2026-11-01:建立概念笔记,区分 FDP、FDR 和具体控制方法。AI 辅助整理;数值例子为教学构造。