多重比较为什么会让结论变假

2026-11-05 · 实验设计

把 A/B/C/D 四个版本两两比较，一共六组检验，每组都取 α = 0.05。全部跑完，发现两组“显著”，于是宣布赢了两个指标。这个流程看着没问题，实际上出错概率已经不是 5% 了。

问题出在“至少一次”

单次检验不误报的概率是 0.95。六次独立检验，一次都不误报的概率是 0.95^6 ≈ 0.735。反过来说，至少误报一次的概率约 26.5%——是名义 α 的五倍多。

比较次数越多，这个数越接近 1。20 组比较时，至少误报一次的概率已经到 1 - 0.95^20 ≈ 64%。

不是数据在骗人，是“多试几次总有一次撞上”这个机制本身在制造显著。

三种常见处理

• Bonferroni：把 α 除以比较次数，0.05/6 ≈ 0.0083。简单、保守，比较次数多时功效损失很大。
• Holm：按 p 值升序，第 i 个用 α/(m-i+1) 比较。比 Bonferroni 严格占优，实现也不复杂，通常直接用这个。
• FDR（Benjamini–Hochberg）：控制“被判定为显著的结果里有多少是假的”。探索性分析、指标多的时候更合适，它允许一定的假阳性换取更高的发现率。

选择标准很简单：你要控制的是“犯一次错的概率”，还是“错误结论的占比”。前者用 Holm，后者用 BH。

比校正更重要的两件事

1. 先定假设，再看数据。 如果指标是跑完数据之后才挑出来的，任何校正都救不了——这已经不是多重比较问题，是 HARKing。
2. 报告全部比较。 只写显著的那两条，读者无从判断你做了多少次尝试。比较次数本身就是结果的一部分。

一个容易忽略的细节

校正只对“同一批假设”有效。如果中途加了一个新指标，它应该算进新的假设族里，而不是沿用上一轮的 α。实践中经常在这里出问题：指标是分批加的，校正却只按最后一批算。

最省事的做法是在实验开始前把假设族写死，跑完再补的一律标为探索性结果，不做显著性宣称。