目录

前言

U-net简介

U-net网络架构理解

输入与输出说明

下采样

上采样以及输出

U-net的特点

谷歌Colab复现基于U-Net的眼底图像血管分割

1.环境配置

 2.数据获取及其处理

3.代码框架

3.1 数据预处理：

3.2 数据增强：

 3.3 U-net网络代码：

3.4 代码运行结果

总结

        本文只是记录自己的学习过程，并不是面向技术向的硬核文章。

         U-net首见于这篇论文U-Net: Convolutional Networks for Biomedical，距今7年，算是比较老的模型了，但是它的引用量突破了四万，由此看来，它的重要性不言而喻。U-net初始论文的标题就告诉我们，它是一个用于医学图像分割的卷积神经网络。在医学领域，如果仅仅对图像进行分类，这是不够的。医生在对病人进行医疗诊断时，需要综合更多的信息来得出病情的判断。

        所以，U-net做的事就是，在已有图像类别的基础上，对图像进行进一步分类---即像素这一级别的分类(图像分割)，定位每个像素的类别，使图像中解剖或病理结构的变化更加清晰，最后输出根据像素点的类别而分割好的图像。

论文中的U-net网络架构如下：

        可以看到图中U-net的网络结构呈U形，左半部分我们称之为编码器，右半部分我们称之为解码器。编码器将图片不断压缩，分辨率变得越来越低，解码器将图像分辨率不断还原，分辨率逐步升高。下面我们针对上图，对网络操作流程进行说明。

        我们的输入图像大小为572,572单通道，输出为388,388二通道。图像分割不应该原图和输出图片大小一样吗？实质上，U-net这边做的处理是，根据预先设置的输出图像大小，然后对输入图像进行镜像填充。具体怎么做的呢？

        如上图所示，预测的分割区域在黄色区域，蓝色区域作为输入，提供更多的局部信息，但实质上我们是没有那么大的蓝色区域的，所以缺失的数据就以镜像的方式被填充了。这样的操作会带来图像重叠问题，即某一图像的周围可能会和另一张图片重叠。因此作者在卷积时只使用有效部分。

        网络左半部分为下采样，一共有四步。

        网络右半部分为上采样，同样有四步，与左半部分不同的是，它每次进行上采样采用的都是反卷积(pytorch总的transpose函数即可实现)，而且每次都会引入裁剪后高分辨率的图像信息。

        在学习过U-net的相关资料后，我准备通过学习代码来加深对U-net的理解，同时记录学习过程中遇到的坑，正好之前浏览博文的时候有过相关收藏，具体链接：基于U-Net的眼底图像血管分割实例。

查看是否有相关的库，具体如下：

         由于这个代码已经比较久了，所以里面有些环境并不是很适配，所以在复现的时候遇到了不少坑。笔者在实验过程中发现colab有上面所有的库，只不过需要做些改动。

        使用的数据集为DRIVE数据集，训练图片为40张，测试图片为20张。这个数据集相当小，所以我们需要对其进行数据增强，以得到更好的训练效果。

                                                                图一 眼底图

 图二 血管图

                                                                图三 眼球轮廓图