Benford's Law and Statistical Fraud Detection

引言：人类为什么不擅长伪造随机

如果让你现在立刻写下一串“随机”的数字，比如扔20次硬币的结果（H代表正面，T代表反面），你可能会写出类似 HTHHTHTH... 这样的序列。你大概率会下意识地避免写出像 HHHHHH 这样连续出现的组合，因为直觉告诉你：“这看起来不像随机”。

但随机并不在乎自己“看起来”是否随机。在真实的随机过程中，长串连续重复不仅可能，而且在样本足够大时几乎必然发生。

造假者为了让数据显得自然，往往会主动避开连续重复、极端值和不规则波动，使结果过于符合人们对“平均”和“随机”的直觉。这些修饰可能在数字分布中留下异常。下面介绍几种常见的检查方法。

本福特定律 (The Law of First Digits)

原理：为什么是“1”？

在我们的直觉中，如果一堆数据是随机分布的，那么首位数字是 1 到 9 的概率应该是一样的，各占 $\approx 11.1\%$ 。

但西蒙·纽康（Simon Newcomb）在 19 世纪从一本被频繁翻阅的对数表中发现了一个反直觉的现象：以 1 开头的数字出现频率远高于其他数字。后来，物理学家弗兰克·本福特（Frank Benford）对这一规律进行了更系统的验证。

本福特定律指出，在自然形成的许多数据集（如会计账目、人口统计、物理常数）中，首位数字 $d$ ( $d \in \{1, \dots, 9\}$ ) 出现的概率遵循对数分布：

P(d) = \log_{10} \left( 1 + \frac{1}{d} \right)

对应的概率是：

1 开头的概率： $\approx 30.1\%$
2 开头的概率： $\approx 17.6\%$
…
9 开头的概率：仅 $\approx 4.6\%$

一种直观解释来自跨数量级的增长过程。一个国家的人口从 100 万增长到 200 万需要翻倍，而从 900 万增长到 1000 万只需增长约 11%。在这类数据中，数值停留在“1”开头区间的时间会更长。不过，并非所有数据都满足本福特定律，使用前仍需检查数据的生成方式和取值范围。

应用与案例

这一规律常用于财务审计和选举舞弊检测。造假者在编造数据时，往往会为了“避嫌”而均匀地分配首位数字，导致 1 的频率过低，9 的频率过高。

安然公司（Enron）财务造假案经常被用于讨论这类方法。事后分析曾对其披露的每股收益和其他财务数据进行本福特定律检测，并观察到首位数字分布与理论值存在偏差。这类偏差可以为审计提供线索，但不能单独证明数据造假，还需要结合账目、交易和业务过程继续调查。

另一个经常被讨论的例子是 2009 年伊朗总统大选。在选举受到舞弊质疑后，统计学家 Walter R. Mebane, Jr. 对公开的地区得票数进行了本福特定律二阶检验（2BL test）。分析发现，内贾德（Ahmadinejad）在部分选区的得票数字分布和尾数聚集存在异常。这些结果支持进一步核查选举数据，但数字分布本身不能替代选票审计和选举过程证据。

统计学检测方法：卡方拟合优度检验

判断一组数据是否违背本福特定律，不能只靠肉眼，还需要使用 卡方拟合优度检验 (Chi-Square Goodness of Fit Test)。

零假设 ( $H_0$ )：数据的首位数字分布符合本福特定律。
备择假设 ( $H_1$ )：数据的首位数字分布不符合本福特定律。

计算统计量 $\chi^2$ ：

\chi^2 = \sum_{i=1}^{9} \frac{(O_i - E_i)^2}{E_i}

其中 $O_i$ 是观察到的频数， $E_i$ 是根据本福特定律计算的期望频数。计算出 $p$ 值后，如果 $p < 0.05$ （或更严格的阈值），我们就有理由拒绝零假设，怀疑数据存在异常。

末位数字分析 (Last Digit Analysis)

原理：人类对随机的直觉偏差

如果说首位数字看的是“自然增长”的规律，那么末位数字看的则是“人工干预”的心理学。

在测量或计数数据中，末位数字（0-9）通常应当是均匀分布 (Uniform Distribution) 的，每个数字出现的概率约为 10%。

造假者常犯的两个错误：

避免重复：人类潜意识里觉得 88、99、11 这样的数字太假，因此在编造时会刻意避开。甚至在多位数字中，也会刻意让相邻数字不同。
凑整偏好：为了省事或心理上的舒适感，造假数据中 0 和 5 出现的频率往往异常高（堆积效应）。

应用与案例

这在超市销售额或身高记录中比较常见。如果一份身高记录中，以 0 或 5 结尾的数据（如 170cm、175cm）占比异常高，首先应检查记录是否经过取整、估算或人工录入。仅凭尾数分布还不能确定数据是否造假。

在伊朗大选的相关分析中，统计学家还检查了选票总数的末两位数字。部分数字组合的频率高于随机期望，这可能与人工填写或其他数据生成机制有关，需要结合选举流程继续判断。

统计学检测方法：均匀性检验

这一步也可以使用卡方检验，但检验对象是均匀分布。

零假设 ( $H_0$ )：末位数字（0-9）出现的概率均等（即 $P = 0.1$ ）。
统计量：同样计算 $\chi^2 = \sum \frac{(O_i - E_i)^2}{E_i}$ ，但这里的 $E_i$ 均为总样本量的 $1/10$ 。

还可以引入 游程检验 (Runs Test) 来检查数字序列的随机性，判断是否存在“因刻意避免重复”而导致的序列相关性异常。

完美主义的陷阱 (Too Good To Be True)

原理：方差与波动

股票价格、气温和实验测量等观测数据通常都带有随机波动。波动的大小取决于对象、测量方法和采样过程，不能只根据曲线是否平滑判断数据真假。

造假者可能把“好的数据”理解成“漂亮的数据”，在编造或修饰时抹去波动，使曲线过分平滑，或者让变量关系过度贴合理论预期。缺少应有的方差（Lack of Variance）因此是一个值得检查的信号，但判断“应有多少方差”必须依赖具体模型和对照数据。

应用与案例

麦道夫骗局 (Madoff Ponzi Scheme) 是一个常被提及的案例。伯纳德·麦道夫报告的投资回报长期保持异常稳定，在市场大幅波动时也很少出现明显回撤。量化分析师 Harry Markopolos 据此质疑其策略是否可能真实实现。波动率分析没有单独揭开骗局，但它指出了公开业绩与所声称交易策略之间难以解释的不一致。

宏观经济数据也可以通过相关指标交叉检查。例如，“克强指数”的思路是把 GDP 与工业用电量、铁路货运量和银行中长期贷款余额等指标放在一起观察。如果报告的 GDP 增长与相关实物指标长期背离，这种相关性断裂值得进一步解释。不过，指标之间的关系会受到产业结构和统计口径影响，背离本身不能直接证明数据虚假。

统计学检测方法：方差比检验与相关性显著性

对于此类造假，我们重点考察数据的波动率和多维相关结构。

首先可以利用 F-检验 (F-Test) 比较目标数据 ( $S_1^2$ ) 与基准数据 ( $S_2^2$ ) 的方差。通过计算 $F = \frac{S_1^2}{S_2^2}$ ，如果 F 值显著小于 1，说明目标数据的波动率低于基准。这是需要调查的异常信号，是否由人为平滑造成还要结合数据来源判断。

其次是结构一致性与残差分析 (Structural Consistency & Residual Analysis)。对于 GDP 和用电量这类时间序列，可以使用 协整分析 (Cointegration Analysis) 区分“虚假回归”与长期关联。常见的比喻是醉汉和他牵着的狗：两者都可能随机移动，但距离不会无限扩大。对应到时间序列中，两个变量虽然各自不平稳，它们的某个线性组合仍可能是平稳的。

在检测中，可以通过 Engle-Granger 检验 检查长期均衡关系是否存在。如果两个历史上协整的指标开始持续背离，残差可能扩大并表现出非平稳性，这提示关系发生了变化。变化可能来自统计口径、经济结构、外部冲击或人为干预，因此还需要结构突变检验和背景资料来判断原因。

门槛处的拥堵 (Bunching / Threshold Effects)

原理：趋利避害

当存在某种考核指标、税收门槛或学术发表标准（如 $p < 0.05$ ）时，数据往往会在门槛附近发生扭曲。这被称为 聚束效应 (Bunching)。

应用与案例

这种现象可以出现在学术发表和税收申报中。对已发表论文的 P 值分布进行分析时，研究者曾观察到数值集中在显著性门槛 0.05 之前、跨过门槛后迅速减少的情况。这可能与选择性报告或 P-hacking 有关。类似地，如果大量申报收入集中在税收门槛以下，也需要检查申报规则、取整行为和避税动机等可能原因。

统计学检测方法：可视化与麦克雷里密度检验 (McCrary Density Test)

识别“门槛效应”可以先从可视化开始。精细的直方图（Histogram）能够显示数据是否在某个阈值（如 $p=0.05$ 或税收起征点）附近出现尖峰（Spike）或密度跳变。这类图形是进一步检验的线索，而不是人为操纵的直接证明。

在统计验证上，我们使用 麦克雷里密度检验 (McCrary Density Test)。这是一种在断点回归设计（RDD）中常用的检验方法，思路是检查变量的概率密度函数在断点处是否连续。如果在门槛值的左侧密度显著高于右侧，且这种差异在统计上显著（即使考虑到随机波动），我们就有理由拒绝连续性假设，推断存在人为操纵。

结语：异常只是调查的起点

本福特定律不适用于所有数据，例如取值范围受限的身高、彩票号码和固定价格商品。末位数字、方差、相关结构和门槛聚束也都有各自的适用条件。

这些方法的作用是发现需要解释的异常，并帮助审计者决定下一步检查什么。它们不能脱离数据生成过程、业务背景和其他证据单独定性。

看到过于平滑的增长曲线或异常均匀的数字分布时，可以多问一步：现有的数据生成过程能否解释这种形状？