作者：vivo 互联网数据分析团队 Luo Yandong、Zhang Lingchao

本文介绍了互联网业务数据效果评估的几种常见问题及方法，并基于分层抽样的逻辑优化出一套可应用于解决用户不均匀的“事后达尔文"分析法，可适用于无法AB测试或人群不均匀的AB测试等场景下的效果评估中，本文会基于实际应用案例，来给大家仔细阐述相关方法模型的思考过程，实现原理，应用结果，希望能够帮助大家，如果能对大家在各自领域中的业务效果评估有所助益的话，那就更棒了！

游戏业务作为公司重点的创收团队，为了更好的达成营收结果，需要不定期地开展各类运营活动来促进玩家付费转化、提升玩家付费水平，这就要求我们游戏数据分析师采取科学有效的分析模型，准确洞察分析各类运营策略的价值与收益，及时控制风险与优化后续运营方案。

而在实际的分析工作中，我们通常会碰到各种各样的业务及数据上的问题，逼迫我们不断迭代优化分析模型，产出更有价值更科学有效的结论建议。

如下案例，就是我们曾经碰到的一个典型问题——算是“辛普森悖论”[1]在游戏业务的一个实际体现：受不同月份游戏业务用户付费分布不均匀变化的影响，业务效果评估重要指标利润率(利润/流水)，在整体和分游戏类型的场景下的数据表现完全互斥。

近三年来，我们持续地开展业务效果评估，在发现并解决问题的过程中不断总结经验及数据结论，最终优化迭代出“事后达尔文”分析方法论，从而有效解决游戏业务中效果评估的各项困难。

本文将从游戏业务效果评估的诸多问题出发，阐述分析方法的发展历程及数据逻辑原理，以及在游戏业务中具体的解决方案实践，来完整介绍“事后达尔文”的思考过程与应用落地，并展望更多应用场景。

游戏业务效果评估中常见的问题有如下这些难点：

游戏业务受节假日自然因素影响大，如何剔除？比如十一、春节期间玩家自发的付费增长同活动影响的关系？

部分活动存在参与门槛，如何保障研究人群的一致性？比如返利活动中需消费达标才能获取礼券的参与门槛，未参与玩家天然付费能力弱一档的问题。

整体与局部的效果差异的问题，如何解读？比如引言中网游单机利润率下降但整体利润率提升的问题。

vivo的游戏营销类活动，一直致力于公平公正，绝对禁止杀熟，因此都需保持统一折扣力度，无法实现AB测试，如何持续优化迭代？

游戏业务中营销活动往往能冲刺短时间的付费增长，但是后期受玩家实际收入能力影响存在回落的风险，如何有效论证活动的长期正向价值？比如双11期间开展的电商活动，明显影响了前一个月及后一个月的用户正常消费水平。

以上诸多难点问题，都衍生于业务的实际运行过程中，需要我们分析师基于一套切实可行的方法论进行解决。

业务团队为了提升相关指标，如流水、利润等，而开展的如满减，返利，打折，促销等活动，在一段时间内让玩家、用户更多的参与、消费，来提升对应的指标。

而我们分析师就需要及时的研究清楚，这些业务动作带来了怎样的实质性的业务提升，以及如何形成更多优化空间，这就是效果评估的核心内容与价值。

判断业务效果，我们通常会细分很多指标，比如参与率、投入产出比、流水、利润等。但我们最关心的往往是指标增量，这是一个相对概念，核心就在于如何对比。为此，行业内通用的分析方法有如下几种：

通过观察活动前后的增长变化，如本周末开展的活动，那我们看本周末的流水去比对上周末的流水，来判断活动的增量；

受节假日等季节因素影响，本周和上周会有自然变化因素，为了过滤自然因素影响，我们将活动参与人群与未参与人群拆解开，将自然时间变化计算为未参与人群的本周流水比对上周流水的数值，最终按活动增量减去自然变化情况来作为最终增量；

基于均匀分层情况下的严格AB测试实验，部分游戏/门店开展活动，部分不开展，以不开展活动的部分增长作为自然增长，这样也可以计算出最终的增量。

但是存在如下风险：

①无法保证用户均匀分布；

②活动开展较复杂，且存在客诉风险，玩家不易接受，且损失部分活动增量，不利于目标达成。

集合方法2、3的各自优势，我们将参与活动人群/未参与人群，基于均匀分层的逻辑，按上周末arpu等指标拆解分层，保障对比对象的相对公平，计算各分层内参与人群的增长-自然增长（同分层未参与人群的增长），最终汇总整体结果。

如下示例：

注：“事后达尔文”由数据分析团队成员于2019年研究出相关分析方法，并于2020年整理并取名为“事后达尔文”。

在介绍数据方案设计前，先介绍一下“事后达尔文”的分析思路和方法论，帮助大家更好地理解本文。

研究对象分两部分——人群和指标。

（1）人群

包含参与活动的人群、未参与活动的人群。参与活动的人群受到活动、季节因素的综合影响；未参与活动的人群主要受季节因素的自然变化影响，如十一前和十一期间的自然付费增长。

（2）研究指标

我们一般选择核心关注的如人均流水ARPU、人均礼券（游戏业务活动核心目标）。其他场景亦可按核心关注指标开展研究，如产品测试场景的点击率等。

基于我们的研究人群（参与活动与未参与活动的人群），在活动前、活动期的研究指标（流水、利润）表现情况，如下图：

其中：

C1=A(A4-A3(B4/B3));

C2=A(A2-A1(B2/B1));

因通常情况下，主动参与我们活动的玩家会有更积极主动的活跃、付费等行为特征，导致玩家A、B人群并不符合均匀分布的特征，故B玩家人群的自然季节因素变化无法完全代表A玩家人群的自然变化，最终导致无法完全科学合理的体现出活动玩法对A人群的增量。

我们为保障玩家人群B的自然变化能反映A玩家人群的水平，在核心研究的指标逻辑下，将A、B玩家人群做均匀的拆分，参考游戏业务活动中，按照活动前人均付费水平拆分（其他场景也可基于其核心指标拆分，如点击率分发效率等）。

其中：

C1=A(A4-A3(B4/B3));

C2=A(A2-A1(B2/B1));

C=sum(C1:Cn);D=sum(D1:Dn);

为保障以上分析结果真的均匀，我们会对每一分组做相应的验证，如上初始人群差异，若人群差异绝对值>=5%，则判断置信度不足，对应分组人群活动影响不单独做评估。

基于以上分层逻辑后，我们即可得到对应置信分组下，参与人群的指标变化率，未参与人群的指标变化率，二者相减即得到活动策略影响的增量变化（可正可负），汇总之后，即可得到整体增量变化，即为整体的活动影响。

特别说明：

通常情况下，置信度不足的分组人群，如果相关人群/流水比重过大，无法忽略影响的话（如超过10%），则会按照置信分组的总增量变化率来作为该分组的增量测算，此处仅供参考；

参与活动人群规模较未参与差距过于悬殊，如