p 值与预注册
p 值是“假设原假设为真时，观察到当前或更极端数据的概率”，不是“原假设为真的概率”。
要点
- 2016 年美国统计协会罕见发表声明，明确反对把 p<0.05 当作有效性门槛。
- 多重比较、选择性报告（p-hacking）会系统性制造假阳性。
- 预注册（先登记假设与分析方案）能有效约束这类问题。
时间线
- 1925费舍尔《研究工作者用统计方法》，提出 0.05 门槛
- 1933奈曼—皮尔逊框架引入 α 与 β
- 2014西蒙森等发现 p 值在 0.05 附近异常堆积
- 2015期刊开始要求预注册与注册报告
- 2019《自然》社论：退休「统计显著」这一说法
它是什么，不是什么
p 值的定义：在原假设为真（例如两组无差异）的前提下，观察到当前或更极端结果的概率。它衡量的是「数据与原假设的兼容程度」，不是「原假设为真的概率」。
常见误读：p = 0.03 不代表「有 97% 的概率效应为真」，也不代表「效应很大」或「结果可重复」。这三个误读在研究者中也很普遍。
0.05 是怎么来的
1930 年代，费舍尔提出用 0.05 作为「值得进一步研究」的便捷门槛，并不是「真理分界线」。奈曼与皮尔逊的框架则引入了 α（第一类错误率）与 β（第二类错误率），强调长期错误率控制。
两套框架后来被混用，形成了今天的「p < 0.05 即显著、否则不显著」的二分做法。这是统计实践中最受批评的一处：它把连续证据压成了二元判断。
p 值操纵（p-hacking）
常见手法：多次尝试后只报告显著的那次；增加或删除协变量直到显著；中途看结果决定是否继续收数据；把多个结局中的某一个当作主要结局；把被试分成亚组直到出现差异。
这些操作单独看都「有理由」，合起来会让假阳性率远超 5%。西蒙森等人 2014 年的分析指出，心理学中 p 值在 0.05 附近异常堆积——这是 p-hacking 的统计学指纹。
预注册怎么解决
预注册要求在研究开始前公开：假设、样本量、主要结局、分析计划。这样「事后改假设」就有据可查。注册报告（Registered Reports）更进一步：在数据收集前就接受同行评审，接受后无论结果如何都发表。
效果是可见的：多项比较研究显示，预注册研究的「显著结果比例」明显低于未注册研究（约 40% vs 70%+），效应量也更小——这说明相当一部分「显著」来自灵活分析。
今天该怎么做
报告层面：不只报 p，还要报效应量、置信区间、样本量、全部结局（含不显著的）。分析层面：明确主要结局，其余标为探索性；多重比较要校正。解读层面：把 p 值当作「证据强度的一个指标」，而不是判决书。
还有一个正在被讨论的替代方案：贝叶斯因子（给出「数据支持 H1 相对于 H0 的强度」），它更接近人想要的答案，但需要先验设定，普及度仍有限。
关键信息
- 定义
- H0 为真时，观察到当前或更极端结果的概率
- 不是
- 不是「H0 为真的概率」，不是效应大小，不是可重复性
- p-hacking
- 灵活分析使假阳性率远超 5%
- 预注册效果
- 显著结果比例从 70%+ 降到约 40%
常见疑问
p = 0.049 和 p = 0.051 有本质区别吗？
没有。这是同一种证据强度的微小差异，只是跨过了一条人为门槛。把它当「有/无效应」的分界，是统计实践最被诟病的地方。
预注册会不会限制探索？
不会，它只是要求区分「验证性」与「探索性」。探索性分析仍可做，只是要如实标注，不能事后当假设检验报告。
参考来源
- Wasserstein, R. L., & Lazar, N. A. (2016). The ASA statement on p-values.
- Simmons, J. P., et al. (2011). False-positive psychology.
这条目是科普整理，不是诊断依据。如果这句话你是在某个短视频或文章里看到的， 可以用论点溯源查一下它有没有文献支持。
分类：08 / 方法与测量 · 更新 2026-11-01 · 来源 https://psyc.pub/e/p-value.html