coco2017是当前最主流的多人姿态估计benchmark，官网的Evaluate已对coco的评价标准做了详细的解释，本文只对其二次整理。

首先coco的姿态估计要求对目标进行检测和定位他们的keypoint，测试过程中目标的定位结果是不提供的，这非常符合常理。

其次coco对姿态估计的评价主要参考了coco的目标检测评价，在目标检测评价中，IOU是预测结果与GT之间的相似度度量标准，有了这个值之后，我们就可以设定阈值，计算出AP（average precision）AR（average recall）这些指标。

那么同理，对于姿态估计来说，如果也能找到一个衡量预测和GT之间的相似性的标准的话，那就可以套用目标检测的评价了。这个相似性度量标准就是OKS。

无论是目标检测还是姿态估计，coco评价都是以object为单位进行的，而不是图的数量。

那么什么是OKS？

OKS的全称为Object Keypoint Similarity，它的计算公式如下：

O K S = ∑ i e x p [ − d i 2 2 s 2 k i 2 δ ( v i > 0 ) ] ∑ i δ ( v i > 0 ) OKS=\frac{\sum _{i}exp\left [\frac{-d_{i}^{2}}{2s^{2}k_{i}^{2}}\delta (v_{i}>0) \right ]}{\sum _{i}\delta (v_{i}>0)} OKS=∑i​δ(vi​>0)∑i​exp[2s2ki2​−di2​​δ(vi​>0)]​

OKS定义为一个目标与它的GT的keypoint相似度，其中 i i i为关键点的个数

d i 2 d_{i}^{2} di2​表示关键点 i i i预测值与GT之间的欧氏距离

s s s表示GT行人的尺度因子，其值为行人检测框面积的平方根，这里的 s s s与关键点无关

k i k_{i} ki​表示为第 i i i个关键点的归一化因子的2倍，这个因子是通过对所有的样本集中的groundtruth关键点由人工标注与真实值存在的标准差，越大表示此类型的关键点越难标注，而 k i k_{i} ki​越大，对应的OKS的值就会越大。

对coco数据集中的5000个样本统计出17类关键点的归一化因子， k k k的取值可以为：{鼻子：0.026，眼睛：0.025，耳朵：0.035，肩膀：0.079，手肘：0.072，手腕：0.062，臀部：0.107，膝盖：0.087，脚踝：0.089}，因此此值可以当作常数看待，但是使用的类型仅限这个里面。

v i v_{i} vi​表示第 i i i个关键点的可见性，0表示关键点未标记，1表示无遮挡并且已经标记，2表示有遮挡但是已经标记.

最终，计算得到的OKS是一个最大值为1的度量，也就是欧氏距离为0的时候。

OKS是一个以object为单位的度量值，计算得到OKS之后，它起到的作用就和目标检测里面的IOU一样，于是我们就可以设定阈值过滤，就有了coco下面10个metrics：

Average Precision (AP):

A P AP AP

A P O K S = . 50 AP^{OKS=.50} APOKS=.50

A P O K S = . 75 AP_{OKS=.75} APOKS=.75​

AP Across Scales:

A P m e d i u m AP^{medium} APmedium

A P l a r g e AP^{large} APlarge

Average Recall (AR):

A R AR AR

A R O K S = . 50 AR^{OKS=.50} AROKS=.50

A R O K S = . 75 AR^{OKS=.75} AROKS=.75

AR Across Scales:

A R m e d i u m AR^{medium} ARmedium

A R l a r g e AR^{large} ARlarge