p 值到底在说什么

2026-09-08 · 推断统计

p 值大概是统计学里被误读最多的一个数字。它经常被当成“结论有多可信”，但它真正回答的问题要窄得多。

它的定义

p 值 = 在原假设成立的前提下，观察到当前结果或更极端结果的概率。

注意两个限定：前提是原假设成立，以及是“当前或更极端”。缺了任何一个，这句话就不成立。

换句话说，p = 0.03 的意思是：如果两组其实没有差异，那么纯粹因为抽样波动，出现这么大（或更大）差异的概率是 3%。

它不说的三件事

• 不是“原假设为真的概率”。那是另一个量，需要贝叶斯方法才能算，而且还要先验。
• 不是“结果可复现的概率”。p = 0.04 的结论重复一次变成 p = 0.31，是相当常见的事。
• 不是“效应有多大”。样本足够大时，任何微小的差异都能压出很小的 p 值。

第三条尤其值得警惕。一个有十万条记录的 A/B 测试，两个版本差 0.1%，p 值也能小于 0.001。统计上显著，业务上毫无意义。

0.05 这个线是怎么来的

它只是 Fisher 当年随手举的一个例子，后来被约定俗成。它不是自然常数，也没有任何“跨过就是真、没跨过就是假”的物理意义。

把 p = 0.049 和 p = 0.051 当成两个截然不同的结论，本质上是在一个连续量上人为划线。更合理的做法是同时报告效应大小和置信区间，让读者自己判断。

多重比较：p 值会通胀

如果同时检验 20 个无关的假设，每个都用 0.05 的标准，那么至少有一个“显著”的概率是：

1 - 0.95^20 ≈ 0.64

也就是说，什么真实效应都没有的情况下，你有六成多的概率能“发现”点什么。这不是造假，是概率的必然结果。

常见的修正办法有 Bonferroni（把阈值除以检验次数）、Holm、以及控制 FDR 的 Benjamini-Hochberg。选哪个取决于你更怕假阳性还是假阴性。

一个实用建议

看到 p 值时，顺手问三个问题：

1. 原假设具体是什么？
2. 一共检验了多少个假设？
3. 效应量多大，置信区间多宽？

三个都能答上来，这个 p 值才有意义。答不上来，它大概率只是个装饰。