本文转载自机器之心

仅用于学术分享，若侵权请联系删除

欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。

CV各大方向专栏与各个部署框架最全教程整理

计算机视觉入门1v3辅导班

AIO-P（All-in-One Predictors）方法旨在将神经预测器的范围扩展到分类之外的计算机视觉任务。AIO-P 利用 K-Adapter 技术将任务相关的知识注入预测器模型，同时设计了一个基于 FLOPs（浮点操作数）的标签缩放机制来适应不同的性能指标和分布。AIO-P 使用了一种独特的伪标记方案来训练 K-Adapters，仅需几分钟即可生成新的训练样本。实验结果表明，AIO-P 展示出了强大的性能预测能力，在几个计算机视觉任务上都取得了出色的 MAE 和 SRCC 结果。此外，AIO-P 可以直接迁移并预测从未见过的网络结构的性能，可以与 NAS 配合，在保证性能不降低的前提下优化现有网络的计算量。

方法介绍

AIO-P 是一种可泛化于多任务的通用网络性能预测器。AIO-P 通过预测器预训练和特定领域知识注入实现了跨任务和跨搜索空间的性能预测能力。AIO-P 利用 K-Adapter 技术将任务相关的知识注入预测器，同时依赖于通用的计算图（CG）格式表示一个网络结构，最终使其能够支持来自不同搜索空间和任务的网络，如下图 1 所示。

图 1. AIO-P 是如何表示用于不同任务的网路结构的

此外，伪标记机制的运用使 AIO-P 能够快速生成新的训练样本用以训练 K-Adapters。为了弥合不同任务上性能度量范围之间的差距，AIO-P 提出了一种基于 FLOPs 的标签缩放方法，实现了跨任务性能建模。广泛的实验结果表明，AIO-P 能够在各种不同的 CV 任务上进行准确的性能预测，如姿态估计和分割，无需训练样本或仅需少量微调。此外，AIO-P 可以正确地对从未见过的网络结构进行性能排序，与搜索算法结合后用于优化华为面部识别网络，保持其性能不变并将 FLOPs 降低超过 13.5％。该论文已被 AAAI-23 接收并且代码已经在 GitHub 上开源。

计算机视觉网络通常由执行特征提取的 “主干” 和使用提取到的特征进行预测的 “头部” 组成。“主干” 的结构通常是基于某一种已知的网络结构设计的 (ResNet, Inception, MobileNet, ViT, UNet)，而 “头部” 是针对给定任务，如分类、姿态估计、分割等而设计的。传统的 NAS 方案会根据 “主干” 的结构手动定制搜索空间，比如已知 “主干” 是 MobileNetV3，那么搜索空间可能包含 MBConv Block 数目，每个 MBConv 的参数 (kernel size, expansion)，通道数等。然而这种定制的搜索空间不具备通用性，假如有另一个 “主干” 是基于 ResNet 设计的，则无法通过现有的 NAS 框架优化它，而是需要重新设计搜索空间。

为了解决这一问题，AIO-P 选择了从计算图层面来表示不同的网络结构，实现了对任何网络结构的统一表示。具体如图 2 所示，计算图格式允许 AIO-P 将头部和主干编码在一起来表示整网结构。这也使得 AIO-P 可以预测来自不同搜索空间（如 MobileNets 和 ResNets）的网络在各种任务上的性能。

图 2. MobileNetV3 中的 Squeeze-and-Excite 模块在计算图层面的表示

AIO-P 中提出的预测器结构从单个 GNN 回归模型开始（图 3，绿色块），它可以预测图像分类网络的性能。为了在它的基础上加入其他 CV 任务的知识，例如检测或分割，该研究将一个 K-Adapter（图 3，橙色块）附加到原始回归模型上。K-Adapter 在新任务的样本上进行训练，而原模型权重则被冻结。因此，该研究单独训练多个 K-Adapter（图 4）来加入来自多个任务的知识。

图 3. 拥有一个 K-Adapter 的 AIO-P 预测器

图 4. 拥有多个 K-Adapter 的 AIO-P 预测器

为了进一步降低训练每个 K-Adapter 的开销，该研究提出了一种巧妙的伪标签技术。这一技术使用 Latent 采样的方案来训练能共享于不同任务间的 “头部” 模型。共享头部训练之后可以与搜索空间中的任何网络主干配对，并在 10-15 分钟内进行微调以生成伪标签（图 5）。

图 5. 训练能共享于不同任务间的 “头部” 模型

经实验证明，使用共享头部获得的伪标签与通过从零开始训练一个网络一天或更长时间获得的实际性能呈正相关，有时排序相关度系数超过 0.5 (Spearman correlation)。

除此之外，不同的任务会有不同的性能指标。这些性能指标通常有自己特定的分布区间，例如，使用了某一特定主干的分类网络在 ImageNet 上分类准确率可能约为 75％，而在 MS-COCO 物体检测任务上的 mAP 可能为 30-35％。为了考虑这些不同的区间，该研究基于标准化理念提出了一种从正态分布中理解网络性能的方法。通俗的说，如果预测值为 0，则该网络性能为平均值；如果 > 0，则为较优网络；

图 6. 如何标准化网络性能

网络的 FLOPs 与模型大小，输入数据相关，并且通常与性能呈正相关趋势。该研究使用 FLOPs 转换来增强 AIO-P 从中学习的标签。

实验及结果

该研究首先在人体姿态估计和物体检测任务上上训练 AIO-P，然后用它预测多种任务上网络结构的性能，包括姿态估计（LSP 和 MPII），检测（OD），实例分割（IS），语义分割（SS）和全景分割（PS）。即使在零样本直接迁移的情况下，使用 AIO-P 对来自于 Once-for-All（OFA）搜索空间（ProxylessNAS，MobileNetV3 和 ResNet-50）的网络在这些任务上的性能进行预测，最终预测结果达到了低于 1.0％的 MAE 和超过 0.5 的排序相关度。

此外，该研究也使用 AIO-P 预测了 TensorFlow-Slim 开源模型库中的网络的性能（例如 DeepLab 语义分割模型，ResNets，Inception nets，MobileNets 和 EfficientNets），这些网络结构可能未曾在 AIO-P 的训练样本中出现。

AIO-P 通过利用 FLOPs 转换，在 3 个 DeepLab 语义分割模型库上能够实现几乎完美的 SRCC，同时在所有 4 个分类模型库上获得正的 SRCC，以及在 EfficientNet 模型上实现 SRCC=1.0。

最后，AIO-P 的核心动机是能够将其与搜索算法配对，并将其用于优化任意网络结构，可以是独立的，不属于任何搜索空间或已知模型库的结构，甚至可以是一个用于从未训练过的任务的结构。该研究使用 AIO-P 和随机变异搜索算法来优化华为手机上使用的人脸识别（FR）模型，结果显示 AIO-P 能够在降低模型计算量 FLOPs 超过 13.5％的同时保持性能（精度（Pr）和召回率（Rc））。

欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。

计算机视觉入门1v3辅导班

【技术文档】《从零搭建pytorch模型教程》122页PDF下载

QQ交流群：470899183。群内有大佬负责解答大家的日常学习、科研、代码问题。

其它文章

​目标检测Trick | SEA方法轻松抹平One-Stage与Two-Stage目标检测之间的差距

少样本学习综述：技术、算法和模型

CVPR 2023 | 标注500类，检测7000类！清华大学等提出通用目标检测算法UniDetector

CVPR 2023｜基于多层多尺度重建任务的MIM改进算法

CVPR 2023 | 超越MAE！谷歌提出MAGE：图像分类和生成达到SOTA！

称霸Kaggle的十大深度学习技巧

CVPR 2023 | 用于半监督目标检测的知识蒸馏方法

目标跟踪方向开源数据集资源汇总

CVPR2023 | 书生模型霸榜COCO目标检测，研究团队解读公开

Vision Transformer的重参化也来啦 | RepAdpater让ViT起飞

高效压缩99%参数量！轻量型图像增强方案CLUT-Net开源

一文了解 CVPR 2023 的Workshop 都要做什么

CVPR'23 最新 70 篇论文分方向整理｜包含目标检测、图像处理、人脸、医学影像、半监督学习等方向

目标检测无痛涨点新方法 | DRKD蒸馏让ResNet18拥有ResNet50的精度

PyTorch 2.0正式版来了！

CVPR2023最新Backbone | FasterNet远超ShuffleNet、MobileNet、MobileViT等模型

CVPR2023 | 集成预训练金字塔结构的Transformer模型

AAAI 2023 | 一种通用的粗-细视觉Transformer加速方案

大核分解与注意力机制的巧妙结合，图像超分多尺度注意网络MAN已开源！

MIRNetV2 更快、更强、更轻量！

AI部署与算法/自动驾驶/深度学习资料汇总！

点云模型专栏（一）概述、特性、存储格式、数据集

计算机视觉各个方向交流群与知识星球

【免费送书活动】 全新轻量化模型 | 轻量化沙漏网络助力视觉感知涨点

CV小知识讨论与分析(7) 寻找论文创新点的新方式

CV小知识分析与讨论(6）论文创新的一点误区

计算机视觉入门1v3辅导班

计算机视觉交流群

聊聊计算机视觉入门