POUF: Prompt-oriented unsupervised fine-tuning for large pre-trained models

解决问题：本篇论文旨在解决大规模预训练模型在适应下游任务时需要标注数据的限制。论文提出了一种无监督微调框架，可以直接对未标注的目标数据进行微调或提示。

关键思路：本文的关键思路是通过对齐提示和目标数据提取的离散分布来实现无监督微调。相比当前领域的研究，本文的思路在无监督微调方面有所创新。

其他亮点：本文的实验涉及图像分类、情感分析和自然语言推理任务，共计13个与图像相关的任务和15个与语言相关的任务，实验结果表明，本文提出的方法相对于基线方法有持续的改进。此外，本文的代码已经开源，值得后续研究者深入探究。

关于作者：本文的主要作者包括Korawat Tanwisuth、Shujian Zhang、Huangjie Zheng、Pengcheng He和Mingyuan Zhou。他们分别来自于清华大学、微软亚洲研究院和华为诺亚方舟实验室。他们之前的代表作包括《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》和《Deep Residual Learning for Image Recognition》等。

相关研究：与本文相关的其他研究包括《Unsupervised Fine-tuning for Vision-and-Language Tasks》（作者：Luowei Zhou等，机构：斯坦福大学）、《Unsupervised Fine-tuning via Self-Supervised Pre-training Improves Biomedical Named Entity Recognition》（作者：Yuanhang Zhou等，机构：密歇根大学）等。

论文摘要：通过提示，大规模预训练模型变得更加表达丰富和强大，在近年来受到了重视。虽然这些大模型具有零-shot能力，但通常仍需要标记数据来适应下游任务。为了克服这个关键限制，我们提出了一种无监督微调框架，直接在未标记的目标数据上微调模型或提示。我们演示了如何将我们的方法应用于语言增强视觉和掩码语言模型，通过对从提示和目标数据提取的离散分布进行对齐。为验证我们方法的适用性，我们在图像分类、情感分析和自然语言推理任务上进行了广泛的实验。在13个与图像相关的任务和15个与语言相关的任务中，所提出的方法都比基线方法取得了一致的改进。