The Statistical Crisis in Science

本文主要观点整理自 Andrew Gelman 的一次讲座，即The Statistical Crisis in Science，部分内容来自Kamoun, S. (2022). Death by Statistics. Zenodo以及一些自己的思考。

统计学研究数据时，我们希望“数据会说话”，告诉我们它们代表什么。数据或许真的会说话，但人无法直接理解，因此统计学承担了翻译的角色。

现代科学几乎处处使用统计学：分析生化实验、观察临床数据、研究大选结果……数据无处不在，统计学也无处不在。统计学家钻研方法，并将结论分享给其他领域的研究者。

假设检验（hypothesis testing） 很可能是统计学中最重要的发明之一：它处理的是统计学最常见的问题，即如何度量不确定性。在近百年的统计学研究中，假设检验一直是活跃领域之一。对许多应用研究者而言，“相信检验结果”似乎是个不错的主意，也常能带来可操作的决策。

问题在于，这也构成了现代科学的一类统计危机：在现实研究中，不满足前提的检验、多重比较与选择性报告，会让假设检验给出看似有力、却可能荒谬的结果；人们有时甚至更信任一串数字，而忽视多年积累的领域经验。

假设检验强大，但它依赖前提

统计推断依赖一系列假设：例如独立同分布（i.i.d.）抽样、随机抽样、噪声结构可控、模型设定合理等。但在大数据时代，非随机抽样（not random sample） 相当普遍，数据也往往混杂着噪声、偏差与选择机制。

在这些数据上直接套用假设检验，得到的“显著/不显著”结论可能产生误导。假设检验可以给出有力结论，不过，它的适用条件是否在本次研究中成立，很大程度上取决于研究者的领域知识与研究设计质量。

即便使用成熟的统计工具，研究人员也未必能得出正确结论。科学家如果盲目遵循工具而缺乏批判性思考，任何统计方法都无法完全避免错误结果，也无法替代清晰的思考。统计学不能替人完成归纳推理；要做好这件事，仍需同时理解统计工具与领域知识。

p-value 与 p-hacking

p-value 表示：在零假设为真时，观察到“和当前结果一样极端或更极端”的概率有多大。它衡量的是“这种数据在零假设下有多不寻常”，而不是“结论为真的概率”。

在一次独立、设计良好的检验中，p-value 低于 0.05 也许值得进一步关注；但如果开始进行大量比较、尝试多个模型或多个指标，偶然性也会产生一些很低的 p-value。即使没有任何有趣的真实效应，只要研究足够多，也会因为数量效应出现一些“显著”结果。

如果研究者有意无意地做了以下事情，就容易出现 p-hacking（为了得到可发表的“显著”结果而反复试探分析路径）：

• 反复尝试不同的变量、不同的特征构造、不同的分组方式
• 不断更换模型、损失函数、阈值、停止规则
• 只报告“最显著”的那一组结果，而忽略未显著的尝试

在 Publish or Perish 的压力下，p-hacking 既诱人也常见，但它会系统性地制造虚假结论，侵蚀研究可信度。这种现象在实证研究中并不罕见，作者和期刊有时也会默许可疑做法。

初学者和非统计学者还常会混淆一点：当 p-value 小于阈值时，我们拒绝原假设。一个自然但错误的想法是：p-value 大于阈值时，就接受原假设；但这同样是错误的。 Fisher 把比较大的 P 值（代表没有找到显著性证据）解释为：根据该组数据不能做出充分的判断。我们在此引用其原话：

“相信一个假设已经被证明是真的，仅仅是由于该假设与已知的事实没有发生相互矛盾，这种逻辑上的误解，在统计推断上是缺乏坚实根基的，在其它类型的科学推理中也是如此。 当显著性检验被准确使用时，只要显著性检验与数据相矛盾，这个显著性检验就能够拒绝或否定这些假设，但该显著性检验永远不能确认这些假设一定是真的，……”

因此，假设检验的目的在于寻找拒绝原假设的证据，而不在于证明什么正确。没有足够证据拒绝原假设时，通常不采用“接受原假设”的表述，而采用“不拒绝原假设”的表述。“不拒绝”并未给出明确结论：我们没有说原假设正确，也没有说它不正确。 总之，假设检验的主要目的是为了拒绝而不是接受。

关于统计分布的假设检验，Yihui 以前写过一篇博客，与这里讨论的问题很相近，其核心结论可以引述为：

根据数据检验总体的分布看来几乎没有什么用处，若拒绝零假设，即数据不服从某种分布，那么往往会使得下面要做的工作的前提假设不成立——这显然会很惨； 若不拒绝零假设——这几乎是无用的结论，因为不拒绝这个零假设，不代表能拒绝其它零假设，因此你仍然不知道数据是什么分布——这显然更惨； 所以我们要把自己的眼睛捂上，假装看不见，像数理统计学家那样，我们假定X服从帕累托分布。

Yihui 的文风确实很有特色，原文参考

关于 p-hacking，可以看这张图：依靠重复实验的运气获得所谓的显著。实验者也许觉得自己并不是在 p-hacking，但行为已经相当接近。图来自统计之都，原始来源为 xkcd。

关于可视化

可视化也是统计学的重要组成部分；在论文中，它往往承担着比正文更直接的沟通功能。好的图表能让读者迅速把握作者想表达的内容，而不必依赖大段文字。不过，可视化领域的问题并不少于假设检验。Cleveland 在几十年前就讨论过图形的各种缺陷，近10年以来，学术界对 Barplot 的批评也层出不穷，但顶级期刊上依旧遍布质量极差的 Barplot。研究者用它们掩盖实验数据的缺陷，欺骗审稿人与编辑以获得发表机会。

An Example：经济学中的自动变量选择

阅读本节后文时，请始终思考这句话：我们是在用数据检验理论，还是在用数据构建理论来迎合我们的偏见？

在机器学习（ML）中，自动特征选择（如 LASSO, Stepwise, Random Forest importance）非常流行，因为目标是预测精度。只要在测试集上表现好，变量如何选出并不重要。

但在经济学中，目标通常是因果推断（Causal Inference）。我们需要看特定变量（比如政策冲击）的系数$\beta$的显著性。如果我们使用统计软件自带的逐步回归（Stepwise Regression），或者手动尝试各种控制变量的组合，剔除那些”不显著”的变量，保留那些”显著”的变量，这种做法看起来是在”清洗模型”，但往往已经进入 P-hacking 的灰色地带，甚至就是直接的作弊。Edward Leamer 早在 1983 年的文章《Let’s Take the Con Out of Econometrics》中就讨论了这个问题，但几十年后的今天，它依旧在所有实证研究领域泛滥。

标准的 P 值计算假设模型在查看数据前就已设定好。如果先用数据挑选出”最好的”变量，再在同一个数据上计算 P 值，那么这个 P 值就完全失效了。因为已经消耗了数据的自由度来筛选模型，却没有在计算中对此进行惩罚。这会导致标准误被严重低估，P 值被人为压低。变量选择后的推断，在经济学场景中是失效的。

即使研究者没有主观恶意地进行 P-hacking，数据处理过程中也存在无数个微小的选择（如：是否加入这个控制变量？是否取对数？）。这些选择如果依赖于“是否能得到显著结果”，那么最终呈现的统计显著性就是一种幻觉。

对于普通研究者而言，更诚实的做法是进行敏感性分析：展示结论在不同控制变量组合下是否依然稳健，而不是只展示那个 P < 0.05 的结果。但 Publish or Perish 的压力悬在几乎每个研究者头上，诚实未必总能得到回报。

更稳健的使用建议

区分“探索性研究”与“验证性研究”(Preregistration)。对于验证性研究，在查看数据之前，研究者已经明确了假设、模型设定、变量定义和样本量计算；在这种情况下，P 值才有意义。探索性研究则是在拿到数据后试图寻找规律，这并没有问题，甚至对科学发现至关重要。

关注效应量与置信区间，而非仅仅报告 P 值，并告诉读者”影响有多大”：是收入增加了 1%，还是增加了 50%。置信区间比单纯的点估计包含更多信息。特别是，应使用散点图代替条形图等模糊结构，先清楚展示每个点的位置，再说明整体分布情况，而不是把精确数据隐藏在模糊图形之后。

进行敏感性分析时，不要只展示 P 值最小的模型；应尝试改变控制变量的组合、数据的清洗方式和回归的函数形式（线性 vs 对数）。如果核心结论在 80% 的模型设定下都保持稳定，结论就是稳健的；如果结论仅仅依赖于某几个特定的控制变量，它很可能只是噪音。这在近期文献中被称为检验“效应的振动”（Vibration of Effects）。

结语

本文从假设检验的局限性出发，讨论了现代科学面临的统计危机。P-value 的误读、P-hacking 的泛滥、可视化中的误导，以及经济学实证研究中“自动变量选择”的陷阱，背后往往都是对统计方法适用前提和科学推断逻辑严密性的忽视。

统计方法帮助我们从数据中作出判断，但使用不当也会制造假象。为减少这一风险，应区分探索性与验证性研究，关注效应量与置信区间，并进行敏感性分析来检验结论是否稳健。统计方法无法替代清晰的思考与领域知识；面对不确定性，仍需诚实而严谨地解读数据，而不是只追逐“显著”的数字。