作为一名算法出身的人，曾长期热衷于算法本身的设计和优化。至于算法的效果评估，通常使用公开数据集做测试，然后对比当前已公开的结果，便可得到结论。

但是在实际落地过程中，却遇到了问题：没有公开数据集；即便有，也依然有必要在实际场景下再做验证，毕竟公开数据集和实际场景往往都有很大区别。

理论上来说，新研发了一个算法后，需要和业务已经在使用的人工经验（被理解为一种特殊的策略）做对比；算法迭代后，前后两个版本的算法也需要做对比。

不失一般性，假设在某个区域内，评价指标为最大化 J J J，此前使用算法A，当前有了新算法B，该如何评估B相比A是否能更好地促进 J J J的提升呢？

理想情况下，是在该区域的两个平行时空中，一个使用算法A，另一个使用算法B，分别得到指标 J A J_A JA​和 J B J_B JB​。然后比较两个指标的优劣，如果 J B J_B JB​指标更好，那么算法B可以被认为是更有利于指标 J J J的提升。

但在任意给定的时间点，该区域实际上只能处于一种状态，即只使用算法A或者只使用算法B，因此只能观察到 J A J_A JA​或 J B J_B JB​。

因此，需要寻找两个相同的区域，然后分别使用A算法和B算法，再基于得到的指标进行算法优劣的评估。当然，要找到两个相同的区域，在现实中是很困难的；但是如果区域不同，无论控制其多少个参数相同，都有可能让 J J J受到某些未观测参数的影响。

如果退而求其次，不要求完全相同，是否还有机会去科学地评估算法A和B呢？答案是有的，就是本文即将介绍的双重差分法（difference-in-differences，DID）。

DID的原理如下图所示。选定两个区域1和2，以算法B的干预时刻为基准，将时间定义为干预前和干预后。在干预后，区域1保持不变，继续使用算法A，最终可以得到A增量；区域2使用算法B后，得到的B增量可以被拆解为两个部分：区域2的自然增量A’，以及算法B带来的纯增量B‘。A’可以理解为不使用算法B时区域2的增量。如果在干预前，两个区域针对指标 J J J的变化趋势保持一致，那么我们可以基于A和此前的变化趋势估计出A’，即做出反事实推断。由于区域2实际的增量B是已知的，因此算法B带来的纯增量为 B ′ = B − A ′ B'=B-A' B′=B−A′

此时，我们发现，不再刻意要求区域1和区域2完全相同，只要求两者的历史指标变化区域保持一致即可，这显著降低了区域选取的难度。

如果使用数学表达式，可以描述为： Y i t = α + δ D i + λ T t + β ( D i × T t ) + ϵ i t Y_{it}=\alpha+\delta D_i+\lambda T_t+\beta(D_i \times T_t)+\epsilon_{it} Yit​=α+δDi​+λTt​+β(Di​×Tt​)+ϵit​ 其中， Y i t Y_{it} Yit​为 J J J变量； α \alpha α为截距； δ \delta δ、 λ \lambda λ和 β \beta β为系数值； D i D_i Di​为算法B，干预前为0，干预后为1； T t T_t Tt​为时间，干预前为0，干预后为1； D i × T t D_i \times T_t Di​×Tt​为交叉项； ϵ i t \epsilon_{it} ϵit​为随机项。

对上式取条件期望后，算法增量（上图中的B’）为 β \beta β，计算过程如下表所示。

显然，如果 β > 0 \beta>0 β>0，则认为算法B对指标 J J J有正向促进作用；反之，则认为有负向抵制作用。

那么，如何求解 β \beta β值呢？

目前大部分DID的代码都是基于stata实现的。因此，本节主要参考半块土豆切丝的视频，给出一个简单实例的计算过程。

实例描述为：A和B为历史指标的变化保持一致的两个地区，在1994年，B区实行了一项新政策，目标是评估新政策对指标 y y y的影响。相关数据如下。

此处先直接给出stata代码如下：

为了更好地理解上述代码，把基本公式再抄写一遍 Y i t = α + δ D i + λ T t + β ( D i × T t ) + ϵ i t Y_{it}=\alpha+\delta D_i+\lambda T_t+\beta(D_i \times T_t)+\epsilon_{it} Yit​=α+δDi​+λTt​+β(Di​×Tt​)+ϵit​ 对应到该实例： D D D是政策变量treat，B地区为1，A地区为0，上述第2行代码实现； T T T是时间变量period，1994-1999年为1，1990-1993年为0，第1行代码实现； D i × T t D_i \times T_t Di​×Tt​是交叉项did，第3行代码实现； β \beta β的计算由第4行代码实现。

先看一下计算结果。

主要看did行、coef列和P>|t|列的数值。显然，该结果和stata的计算结果是完全一致的。