最近在实际的工作中发现离线指标与线上指标并非线性吻合关系，因此对离线指标的评估产生了一些思索，因此这里复盘一下ctr预估中的常用评估指标，并附上自己的思考。

对于常见的推荐问题而言，并不是太关注模型输出概率的绝对值大小而更关注的相对大小，即排序。

广告等ctr预估模型中，由于最终的排序还要乘以bid，因此对于ctr的准确度要求非常高，举个简单的例子。

在推荐场景下，只需要模型输出的概率满足：P(A)>P(B)>P©即可，比如三者的概率可以为：

考虑到用户本身的偏爱而言，1和2的推荐都是一个不错的排序(不考虑多样性等因素)

而在广告场景下，考虑一下两种情况：

假设A产品点击后收益为1元，B产品为2元，C产品为3元

P(A)=0.8,P(B)=0.7,P©=0.5

P(A)*cost(A)=0.8*1=0.8元，P(B)*cost(B)=0.7*2=1.4元，P©*cost©=0.5*3=1.5元

最终的排序变为了C>B>A，点击率最低的C反而排在了最前面

假设A产品点击后收益为1元，B产品为2元，C产品为3元

P(A)=0.8,P(B)=0.3,P©=0.1

P(A)*cost(A)=0.8*1=0.8元，P(B)*cost(B)=0.3*2=0.6元，P©*cost©=0.1*3=0.3元

最终的排序变为了A>B>C，与1中顺序完全相反

根据上述案例可以发现，虽然模型预估下均是P(A)>P(B)>P©，但是由于三者都需要乘以bid出价，pctr之间的间隔差距使得收益完全相反。

总结而言，ctr预估不仅要保序，即正负样本排序好，还需要保距，即pctr之间的比值关系与真实ctr的比值也基本相等，这也是ctr预估中最难的地方。

最理想的模型当然是开了上帝之眼，预估为5%点击的流量群统计后也是5%，即在各个流量上的预估都非常准。

下面是个人的思考：

ctr预估输入是1or0，要求输出为概率值，通常都将其处理为二分类问题，常见的指标为logloss与auc。

另外，还有根据人群划分而使用的gauc、copc等，后面会简单介绍一下。

logloss是二分类问题中非常常用的损失函数，假设点击与不点击服从二项分布，通过构建似然函数来评估整体样本的似然概率，通过极大似然函数来来求解模型参数。

计算公式为：

logloss主要用于评估模型输出概率与训练数据的概率的一致程度，可以理解为logloss越小模型预估的ctr越准。

auc的介绍可以参考我之前写过的一篇《什么是AUC》，里面有详细介绍AUC的物理含义，这里简单过一下。

AUC主要评估的是模型对于整体样本的排序能力，例如AUC为0.9，样本中有p条正样本，n条负样本，两两组合又p*n种组合方案，那么auc=0.9代表着p*n组正负样本组合中有90%的组合其P(正)>P(负)的。

根据上面的介绍我们可以发现一个事情，那就是AUC只关注排序，而不关注实际点击率相对大小。将模型输出的所有概率值均+0.1，模型的auc是不变的(排除增加后概率超过1的样本)。

auc评估的模型对样本整体的排序能力，但是无论是推荐还是广告而言，排序影响的主要是单个用户，举个例子：

P(user1,正)=0.4，P(user1,负)=0.2，P(user2,正)=0.7，P(user2,负)=0.5

按推荐而言该模型是一个比较好的模型，但是auc的值是=3/4=0.75

而模型如果将P(user2，负)预估为0.3时，整体的auc变为了1，但是，虽然整体auc提升了，对于提升点击率而言却没有帮助

也就是说，对于推荐以及广告而言，更为关注的其实是模型对单个用户的排序是否准确，而不关注不同用户之间的排序

根据上述auc的缺点，便有了gauc，gauc相当于对每个用户(包含正负样本)分别计算auc，最后进行加权求和，权重为当前用户曝光次数/总曝光次数.

copc指标主要用于评估某段细分的流量模型预估值是否偏差较大，具体做法如下：

将模型对所有样本的预估pctr按大小顺序排序

选择某一区间内的所有样本，如pctr