目的：人工做数据清洗较为麻烦，而且费事费力没成绩，还拉拽整个项目的后腿。所以这里根据调研情况，分析尝试一下。

参考：百度大脑自己的csdn说明

有几点：

1）过滤无对应目标的图，如果有开源通用模型，人脸或者行人检测等，是可以解决的。如果是无，那前期也是需要自己训练个检测模型，然后做半自动的标注与筛选的。然后根据新加入的数据，继续迭代地优化模型。

2）去相似图片。这里的相似是特征相似度。如果有对应的分类提取特征的网络结构的话（有开源用开源，无开源就迭代训练），那么可以利用图像检索的方式获得图像特征向量，然后计算特征向量的cosine距离或者欧式距离等。设置较大的阈值，将较为冗余的图像筛选去掉。

3）去模糊图片。即去除图像质量不高的图片，猜测这个可以找网上的对于图像清晰度打分的这种模型或者是图像质量评估IQA的模型，进行筛选。初步判断不太需要自己去训练模型，但是呢，对于最后保留什么样质量的图像，这个是我们要自己写一些逻辑的。不过难度也不大。

参考：华为数据清洗服务

可以根据提供正样本与负样本，将数据筛选好。看了一下，里面也是有特征提取，相似度计算的。提到的主要有数据清洗聚类、异常检测、相似度计算、特征提取器等。教程写得很详细。

还有一篇专利，关于根据图像特征相似度，做数据清洗的。https://patentimages.storage.googleapis.com/a0/89/06/563a1061fac7fe/CN107480203A.pdf