近期，人工智能领域国际学术会议IJCAI 2023（中国计算机学会CCF A类会议）于8月19日至8月25日在中国澳门召开，上海大学计算机工程与科学学院李晓强副教授课题组的研究成果“Hierarchical Semantic Contrast for Weakly Supervised Semantic Segmentation”被该会议接收录用，并在大会进行口头报告。IJCAI全称国际人工智能联合会议（International Joint Conference on Artificial Intelligence），该会议是是国际人工智能界最有影响力和权威性的盛会之一，在世界范围内每年召开一次，本届会议录用率约为15%。

该研究工作受到上海市科委人工智能重点项目支持，计算机工程与科学学院2022级硕士研究生吴远尘为论文第一作者，李晓强副教授为唯一通讯作者。

弱监督语义分割，是一项旨在将图像中的不同物体或区域进行精确分割的计算机视觉任务。与传统的监督学习不同，弱监督语义分割不需要精确的像素级标注，而是通过使用弱标签来完成模型训练。这一任务的关键挑战在于如何从弱标签中获取准确的分割结果。研究人员通常利用标签包围框、图像级标签或点级标签等信息，来引导分割模型的训练过程。弱监督语义分割技术能够有效缓解像素级数据标注成本高昂的问题，在医学图像分析、自动驾驶、环境监测等领域具有广泛应用潜力。该工作使用像素级别的弱标签完成语义分割任务。

图1 分割目标的不同语义层次

基于像素级别的弱标签的弱监督语义分割常见做法是利用类激活图（Class Activation Map）来生成伪像素级标签，然后用这些标签来训练分割模型。但是，CAM通常只能覆盖物体的最显著区域，或者激活一些无关区域，影响了分割性能。为了改善CAM的质量，作者认为分割目标的语义包含多个层次，在不同的语义层次上进行语义对比有助于模型学习到更好的目标模式理解。因此，团队提出了一种新的方法，称为层次语义对比（Hierarchical Semantic Contrast），它利用对比学习思想对不同层次的语义关系进行建模，从而使模型能够学习更全面的语义结构，并生成更精确的CAM。HSC涉及三个层次的语义对比，即感兴趣区域（ROI）层次，类别层次，和像素层次。HSC还采用了交叉监督和动量原型学习来提高语义一致性和丰富性。

图2 基于层次语义对比的CAM生成框架

作者在PASCAL VOC 2012数据集上对提出的方法进行测试，层次语义对比框架生成CAM伪标签训练分割模型（DeepLab ASPP），最终在测试集上实现了74.5%的mIoU，创造了新的基于图像标注的弱监督语义分割性能记录（SOTA）。与其他对比方法相比，作者的方法在对象完整性和边界精度方面有显著的提升，可视化结果表明提出的方法在简单和复杂场景下都表现良好。

图3 不同方法在PASCAL VOC 2012验证集及测试集性能比较

图4 最终分割结果

近年来，计算机学院研究生人才培养工作正逐渐深入专业领域前沿，一些高质量科研成果正在不断产出。这些成果将为计算机学院学科建设、研究生培养起到重要的支撑作用。