reid论文 |
您所在的位置:网站首页 › 软标签和硬标签 › reid论文 |
reid论文——SPCL与RLCC
![]() Self-paced Contrastive Learning with Hybrid Memory for Domain Adaptive Object Re-ID 主要贡献 提出Hybrid memory混合记忆模型 在无监督方法中将聚类得到的异常值也加以利用 提出统一对比损失 提出聚类可靠性评估方法 Pipeline 初始化1:在ImageNet上初始化cnn编码网络F 初始化2:使用F对源域数据以及目标域数据编码 初始化3:源域数据选择类中心存入Hybird memory,目标域数据所有特征存入Hybird menmory。 训练1:使用F对输入的batch编码,与Hybird memory中的对应特征进行对比损失计算。 如果属于源域则与Hybird memory中对应类的中心特征进行计算 如果属于目标域聚类的类别,则与Hybird memory中聚类类别的类中心特征进行计算 如果属于目标域聚类异常值,则与Hybird memory中同一个特征进行计算 训练2:得到损失反向传播修正F 训练3:使用F对源域数据以及目标域数据编码 训练4:对特征进行聚类,使用聚类可靠性评估将不可靠的聚类拆成聚类异常值 训练5:根据新的编码使用动量更新Hybird memory中对应的值 重复训练步骤 对比损失公式对于源域类别的更新,对同一类别的图片编码的特征求均值对应更新Hybird memory同一类别: 通俗的说就是:一个可靠的聚类应当在多尺度的聚类环境下保持稳定。从每个点来看,正常聚类用一个面积为10的包围圈包括了它,然后用一个面积为8的包围圈也包括了他并且这次的包围圈和面积为10的包围圈包围相同的点的个数大于一个设置的阈值超参,然后用一个面积为8的包围圈也包括了他并且这次的包围圈和面积为12的包围圈包围相同的点的个数大于一个设置的阈值超参。满足上面两个条件这个点就属于聚类结果,不然就属于离群点。 SpCL的两种任务任务一:UDA,无监督领域泛化这个主要是利用源域的数据来优化目标域的性能,目标域数据无标签。 任务二:USL,无监督只使用目标域的数据,且目标域数据无标签。 任务一和任务二在使用SpCl的主要区别在于对比损失的计算有差异(去掉了和源域类中心计算对比损失)以及memory存储的特征不同(不存源域的类中心特征)。对于任务一,对比损失如下:
Refining Pseudo Labels with Clustering Consensus over Generations for Unsupervised Object Re-identification 主要贡献 结合前面一轮的伪标签来优化这一轮的伪标签,可以很好的兼容现有的方法。 Pipeline 硬标签 在imagenet上训练网络f 使用f对训练数据提取特征 使用dbscan聚类算法进行聚类,得到硬标签Y(1) 计算本次聚类t时刻每一个类与上一次聚类t-1时刻每一个类的IOU,存入矩阵C 利用矩阵C和上一次聚类t-1的硬标签根据RLCC算法(见# RLCC)计算从t-1传播到t的的伪标签Y(1>2) 根据本次模型的输出特征聚类得到本次的硬伪标签Y_hard(2) 使用momentum思想用Y(1>2)和Y_hard(2)得到最终本次的伪标签Y(2) 软标签 在imagenet上训练网络f 使用f对训练数据提取特征 使用dbscan聚类算法进行聚类 计算本次聚类t时刻每一个类与上一次聚类t-1时刻每一个类的IOU,存入矩阵C 利用保存的t-1时刻的模型对样本前向传播从分类层拿到软标签Y(1) 利用矩阵C和上一次软标签根据RLCC算法计算从t-1传播到t的的伪标签Y(1>2) 根据本次模型的输出特征聚类得到本次的硬伪标签Y_hard(2) 使用momentum思想用Y(1>2)和Y_hard(2)得到最终本次的伪标签Y(2)两者相比,软标签的时候需要额外的存储t-1时刻的模型,用来计算分类得到的软标签。 为什么要存储模型不能直接存储当时的软标签呢?因为在t时刻是没有使用这时候模型的分类层,而是使用了t-1时刻的分类层,因此反向传播的时候相当于优化了t-1时候分类层的参数。换句话说就是在t时刻,这时候分类层的参数适配的是t-1时刻的类别。所以必须额外存储t-1时候的模型在t时刻来计算。 RLCC算法流程如图 RCLL这个方法是根据迭代过程中相邻两个时刻伪标签来精炼当前时刻的伪标签,SpCl是作者提出的一个在无监督领域泛化和无监督领域reid的一个有效的方法,SpCl的目的也是提高伪标签的可靠性,可以将RCLL方法结合进去。 因为SpCl使用的是对比损失,并且该方法没有分类层所以得到软标签的时候需要特殊操作。软标签根据当前样本与memory中的所有样本计算对比损失得到,公式如下: 作者的baseline为SpCl,在两个person reid任务Market-1501和DukeMTMC上涨点分别4.6%和3.9%:
原创文章作者:布剪刀石头。如若转载,请注明出处:古月居 https://admin.guyuehome.com/35271 打赏 0 点赞 2 收藏 0 分享 微信 微博 QQ 图片 上一篇:reid论文——MMT与MMT+ 下一篇:reid论文——CL与HHCL |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |