可能有帮助的链接：https://paperswithcode.com/task/single-image-deraining

真实数据集是直接在雨天拍摄照片，而合成数据集是在清晰图像上通过各种方式添加雨迹来获得带雨的图像。

这些数据集大多采用单词+数字的模式命名，不同论文引用的名字各不相同，十分混乱，还是要以论文为准。

出自 CVPR 2017 论文 Deep Joint Rain Detection and Removal from a Single Image: [arxiv] [cvf]

原始的图像是从 BSD-200 数据集中选出的，然后添加合成的雨迹。

Rain100H 包含 5 个不同方向的雨迹，即对于每张图而言，它的雨迹模式可能有 5 种情况。相比下面的 Rain100L，Rain100H 的雨迹更加密集（heavy）。

论文中给出的链接现在已经 404，但我找到了一个可用的 Project 链接：https://www.icst.pku.edu.cn/struct/Projects/joint_rain_removal.html 可以在其中获取下载链接，其中 Google Drive 已经挂掉，百度网盘仍然可用。

训练集包含 1800 组图，每组图有 rain、norain、rainstreak、rainregion 4 个变种。测试集包含 100 对图像，每对图像有一个干净版本和一个带雨迹版本，共 200 张图。

PReNet 的 GitHub 页 https://github.com/csdwren/PReNet 也放出了 Rain100H 数据集，但有以下说明：

预览：

和 Rain100H 出自同一项工作。相比 Rain100H，Rain100L 的雨迹更加稀疏（light），且仅包含单一方向的雨迹。

原始的图像是从 BSD-200 数据集中选出的，然后添加合成的雨迹。

在 PReNet 的 GitHub 页下载到的 Rain100L 训练集包含 200 组图，每组图有 rain、norain、rainstreak、rainregion 4 个变种，共 800 张图片。测试集包含 100 对图像，每对图像有一个干净版本和一个带雨迹版本，共 200 张图。

目前从 Rain100L 论文官方页下载到的 Rain100L 训练集包含 1800 组图，仅有 rain 和 norain 2 个变种，和 Rain100H 保持一致。

预览：

出自 TCSVT 2020 论文 Image de-raining using a conditional generative adversarial network: [arxiv] [ieeexplore]

包括 700 张训练图像和 100 张测试图像，这些图像是从 UCID 数据集和 BSD-500 数据集中随机选出的，然后使用 Photoshop 添加合成的雨迹。训练集占比为 0.875。

该数据集在 https://github.com/hezhangsprinter/ID-CGAN 提供，但目前几个分享链接都已经挂掉。我也没有找到其他提供该数据集的地方。

出自 CVPR 2018 论文 Density-aware Single Image De-raining using a Multi-stream Dense Network，与上面的 Test100 出自同一团队。

训练集包括 12000 张图像，按照合成的雨迹密度（density）分成三组：light、medium、heavy，每组 4000 张图。

测试集包括 1200 张图像，同样分为三组。

原始代码和数据集可在 https://github.com/hezhangsprinter/DID-MDN 找到。

出自 CVPR 2017 论文 Removing rain from single images via a deep detail network: [cvf]

总共包含 14000 张图像。作者从 UCID 数据集和 BSD-500 数据集以及谷歌图片中收集了 1000 张干净图像，然后对每张干净图像合成 14 张带有不同模式雨迹的图像。在作者的原始工作中，随机选择其中的 9100 张图像生成训练用的 patch 进行训练，剩下的 4900 张图像用于测试。训练集占比为 0.65。

该数据集连同代码在厦门大学网站提供：https://smartdsp.xmu.edu.cn/cvpr2017.html 但目前该网页无法访问。

数据集可以在 PReNet 的 GitHub 页下载：https://github.com/csdwren/PReNet ，在 PReNet 中，原始的数据集被分割为训练集 Rain12600，包含 \(900\times 14\) 张图像，和测试集 Rain1400，包含 \(100\times 14\) 张图像。

Restormer 论文 [cvf] 中用“Test2800”引用了这个数据集，但我不清楚为什么是2800。

预览（以序号为1的图片为例）：

出自 CVPR 2016 论文 Rain Streak Removal Using Layer Priors: [cvf] [GItHub]

很小的数据集，仅包含 12 张测试图像。

可以在 PReNet 的 GitHub 页下载到：https://github.com/csdwren/PReNet

预览：

出自 CVPR 2019 论文 Depth-Attentional Features for Single-Image Rain Removal [cvf]

前述的各种合成数据集都是简单地在干净图像上添加雨迹，但真实的雨天图像往往伴随着雾。该数据集考虑了更多现实的因素来合成带雨迹图像。

该数据集的图片是从 Cityscapes 数据集中选出的，使用了复杂的合成技术（具体可见论文），包含 9432 张训练图像和 1188 张测试图像。

根据说明，数据集可以在 https://www.cityscapes-dataset.com/downloads/ 下载，但该网站需要注册，我没有进一步查看。

出自 CVPR 2022 论文 TransWeather: Transformer-based Restoration of Images Degraded by Adverse Weather Conditions [cvf] [GitHub] 这项工作同时考虑了去雨、去雪和去雾。

该数据集中的数据从 Snow100K、NYU-Rain 和 下文提到的雨滴数据集 中选出。

数据集可以在 GitHub 页下载，通过 Google Drive 提供，体积约 10 GB。

出自 CVPR 2019 论文 Heavy Rain Image Restoration: Integrating Physics Model and Conditional Adversarial Learning [cvf] [arxiv] [GitHub] 这项工作专注于大雨图像的去雨，考虑了大雨带来的雨迹积累和雨幕效应。因此数据集也针对这方面进行了定制。

下载链接可在 GitHub 页找到，通过 DropBox 提供，体积约 7 GB。

包含 16200 张图片，其中 13500 张用于训练。

出自 CVPR 2019 论文 Spatial Attentive Single-Image Deraining with a High Quality Real Rain Dataset [cvf] [arxiv] [GitHub]

SPA-Data 被认为是一个“半真实”的数据集（见 GT-RAIN 论文），因为它的 Ground Truth 基于视频去雨方法得到，并不是实拍的照片。

下载链接可在 GitHub 页找到，通过 Google Drive 提供。

出自 CVPR 2021 论文 Removing Raindrops and Rain Streaks in One Go [cvf] [GitHub]

下载链接可在 GitHub 页找到，通过 Google Drive 提供。数据集约 5 GB。

出自 ECCV 2022 论文 Not Just Streaks: Towards Ground Truth for Single Image Deraining [主页] [ecva] [arxiv] [GitHub]

这是一个完全真实的去雨数据集，而且针对带雨图像配有对应的不带雨 Ground Truth。作者团队从 YouTube 上下载了来自世界各地的 101 段视频，因为拍摄相机是静止不动的，因此可以捕获到相同场景的带雨和不带雨的图像。作者还对一部分图像对进行了复杂的微调。

共包含 31524 个图像对，其中 26124 对用于训练，3300 张用于验证，2100 张用于测试。

下载链接可在 GitHub 页找到，通过 Google Drive 提供。数据集约 8 GB。

出自 CVPR 2018 论文 Attentive Generative Adversarial Network for Raindrop Removal from A Single Image [cvf] [arxiv] 这项工作主要是去除雨滴，而不是雨迹。

该数据集专注于一个典型场景：雨滴聚集在玻璃上。

出自 CVPR 2023 论文 WeatherStream: Light Transport Automation of Single Image Deweathering [主页] [cvf] [GitHub] 和 GT-RAIN 出自同一团队。

下载链接可在 GitHub 页找到，通过 Google Drive 提供。数据集约 25 GB。

出自 ICCV 2023 论文 From Sky to the Ground: A Large-scale Benchmark and Simple Baseline Towards Real Rain Removal [主页] [cvf] [GitHub]

下载链接可在项目主页找到，通过 Google Drive 和百度网盘提供。

出自论文 Toward Real-world Single Image Deraining: A New Benchmark and Beyond [arxiv] [GitHub]

下载链接可在 GitHub 找到，通过 OneDrive 提供。目前（2024.2）该链接似乎无法访问了。

去雨任务的合成数据集和真实数据集的差别还是挺大的，合成的一眼就能看出来是合成的。真实数据集罕见，应该主要是因为真实的雨迹照片很难收集。不过现在合成数据集也变得越来越真实。

现有的很多方法都在合成数据集上达到了非常好的效果，但是放在真实数据集上，表现就很惨淡了。