“样本太小”这个说法大家都听过，但它到底意味着什么，往往说不清楚。比较准确的说法是：小样本不是“偏”，而是“每次都偏得不一样”。
假设你想知道某个总体的均值，抽了 8 个样本，算出来是 42。这个 42 有多大意义？单看这个数字，看不出来。可能真实均值是 41，也可能 55。
有意义的是区间。标准误的公式是 s / √n，样本量翻四倍，标准误才减半。这就是为什么小样本的区间总是很宽——宽到经常覆盖“没有差异”这个结论。
同样是样本标准差 10，不同样本量下的 95% 置信区间半宽（近似）：
注意这个下降速度：n 变成 16 倍，半宽才变成四分之一。想靠加样本把精度提高十倍，样本量得涨一百倍。这就是为什么“多收集点数据”在成本上经常不划算。
比区间宽更麻烦的是，小样本下的结果对具体抽到谁极其敏感。换一批样本重做一次，结论可能完全反过来。
这在 A/B 测试里表现得特别明显：前 100 个用户里转化率 A 高，到 500 个时变成 B 高，到 2000 个又回来了。如果每次看到“显著”就下结论，你会得出三个互相矛盾的答案。
解决办法不是“多看看”，而是事先定好样本量，中途不看。反复偷看并随时准备停止，会把假阳性率抬高好几倍。
功效（power）指的是“如果真有差异，能检测出来”的概率。它和样本量、效应量、显著性水平一起构成一个四边形，知道三个能推第四个。
效应越小 → 需要的样本越大
想提高功效 → 要么加样本，要么放宽阈值，要么接受更大的效应量很多研究在开始前没算过功效，做完发现不显著，就说“没有差异”。但如果本来就只有三成功效，不显著几乎是一定的——这不叫没有差异，叫没看见。
前两条能防住大部分问题，第三条能防住别人拿你的结论去误导人。