市场研究中，总会遇到一些细分市场样本量不足的情况。

微软的客户和合作伙伴体验（CPE）关系研究是世界上最大的满意度追踪项目之一。

调查使用45种语言，覆盖170个国家和地区，在6个月内响应近10万样本。

即使是如此庞大的项目，也存在一些与国家匹配的细分市场的样本量不足的情况。

他们是如何解决这一问题的呢？

微软的两位总监为低响应地区建立了预测模型。经双重检验后，证明该模型得分的误差竟比100+样本量的误差还要低。

这对该项目有巨大贡献的同时，也给予我们启发。

微软的客户与合作伙伴体验（Customer and Partner Experience-CPE）关系研究是世界上最大的满意度追踪项目之一。

它对微软的客户与合作伙伴（从小型企业到跨国公司）进行调查。

该项目以45种语言进行调查，覆盖170个国家，在6个月内响应近10万条。

CPE关系研究衡量了微软与其商业客户和合作伙伴关系的健康状况，并作为一个强大的倾听系统来了解他们的需求、痛点和满意度驱动因素。

微软在全球范围内的团队都使用该研究中的指标和洞察来制定有针对性的计划，来改善客户体验。

01 挑战：最低样本量要求

The challenge: minimum sample requirements  

为了确保我们从CPE关系研究中提供具有代表性且稳定的分数，我们要求报告中的任何指标的最小样本量为n=100。

虽然我们很容易达到全球层面的细分市场（如企业客户）的最低样本要求，但我们经常达不到与国家相匹配的细分市场的限定值（如新西兰的企业客户）。

我们甚至都无法报告与国家相匹配的细分市场的约50%的满意度分数，这使得业务领导层对其客户和合作伙伴在这些国家的满意度知之甚少。

样本量的限制为某些国家/地区造成了认知缺口，并给我们带来了挑战——我们如何为某些国家/地区响应率较低的细分市场提供客户满意度洞察？

更重要的是，这些国家的分公司领导层如何改善他们的客户和合作伙伴与微软合作的体验？

目前的战略和计划是否有效？

我们有其中更小群组的定性数据和逐字记录，但这并不够。

我们需要一种新的方式来提供我们有信心的量化数据，以便利益相关者能够做出更明智、更可靠、数据驱动的决策。

02 解决方案

The solution

为了迎接这一挑战，我们与我们的分析供应商Success Drivers公司合作，使用了增强的贝叶斯神经网络机器学习（boosted Bayesian neural network machine learning,），为低样本量国家进行了两个关键满意度指标的建模：

1）创建模型

Creating the model

模型的目标是为任何给定的与国家相匹配的细分市场提供可靠的满意度估计或预测。

该模型使用我们从调查中收集的测量数据，并根据一组预测指标调整分数。

我们使用以下概念框架来确定模型中包含哪些变量：

1. 起始水平预测因子（Starting-level predictors）:

这些变量有助于确定与国家相匹配的某特定细分市场的分数的起始水平。

例如，与国家相匹配的细分市场以往波次的分数有助于确定下一波得分的起始水平。

2. 变化预测因子（Change predictors）：

这些变量会告知，与国家相匹配的细分市场的分数应从前一波的结果向哪个方向（如果有）移动。

例如，如果高度相关的组合（译者注：指国家与细分市场的组合）的满意度分数增加，则模型更可能会预测某与国家相匹配的细分市场的满意度会增加。

3. 代表性预测因子（Representativity predictors）:

这些变量用于了解我们有多大的信心来保证测得的分数能够代表市场。

具体做法是了解当前时间段与所有时间段平均代表性的比较情况。这包括回顾已显示出对分数有影响的高权重或附加代表性变量的占比。

为了将这一切结合起来，我们来看下面的例子：

为了校准法国企业商业客户的满意度得分，模型可以利用以下一个或多个输入：

1.起始水平预测因子：法国企业商业客户过去的满意度得分。

2.变化预测因子：与法国企业商业客户满意度得分相关的其他与国家匹配的细分市场的满意度得分（例如，法国的中型商业客户）。

3.代表性预测因子：在过去三个月中与微软代表有直接接触的受访者占比（这一指标已被证明可提供差异化的满意度分数）与之前波次的平均占比进行比较。

该过程的最后一步是应用一个公式，该公式考虑了样本量、测量得分和模型得分。

随着样本量的增加，我们对测量得分可代表市场的信心也会增加，这需要在最终的模型得分输出中加以考虑。

当样本量较小时，该公式更看重预测得分，而当样本量较大时，则更看重测量得分。

2）验证模型

Validating the model

通过运行数千次模拟，对模型进行了验证，以评估模型分数与实际分数的接近程度。

充分利用拥有非常大型的样本量以及对测量结果具备高度自信的与国家匹配的细分市场，我们测试了该模型在不同样本量下预测的满意度得分。

事实证明，即使在低样本量的地区，我们的模型仍然可以有效预测实际得分。

例如，基于 n=50 个样本量的模型得分预测满意度得分的误差小于我们调查 100 名客户的结果！

通过绘制测量得分和模型得分随时间变化的曲线图，模型得到了进一步验证。

这些长期图表显示，低样本量的模型得分与测量得分的图形相似，但波动性更小。

此外，高样本量的测量得分和模型得分的走向几乎完全一致。

这两项验证使我们确信，对于任何给定的与国家匹配的细分市场，模型分数都是满意度分数的一个强有力的代表性预测因子。

03 了解客户和合作伙伴的满意度

Understanding the satisfaction of customers and partners

鉴于我们确信模型的分数可以可靠地估算细分市场和国家的表现，在我们的半年报中，当样本量在n=50到n=99*之间时，我们使用了这些模型分数。

（*当样本量超过 100 个时，我们将继续使用测量得分。）

通过这一流程，我们测量总体满意度时对细分市场和国家组合的覆盖率提高了约20%，测量客户团队质量满意度时对细分市场和国家组合的覆盖率提高了约25%。

自从将这一创新应用于 CPE 关系计划以来，我们收到了我们利益相关者的热烈反馈。

模型分数已成为各国家和细分市场领导层用来巩固和了解其客户和合作伙伴满意度的一种衡量标准。

我们期待继续看到我们的模型分数对领导层改善客户与微软合作体验的能力的影响。

作者 | KATHERINE COSTAIN, JEFF MERCER

原题 | Providing reliable satisfaction scores for low survey response geographies

编译 | 张杉

勺海公号原创译文