介绍

在这篇文章中，我们将学习如何执行图像处理。在整篇文章中，我们使用到的库是Scikit Image。

1、什么是图像？

图像数据可能是继文本之后最常见的数据。那么，电脑是如何理解你在埃菲尔铁塔前的自拍的呢？

Image data is probably the most common data after text. So, how does the computer understand your selfie in front of the Eiffel Tower?

它使用一个称为像素的小正方形网格。像素覆盖很小的区域，并且具有表示颜色的值。图像中的像素越多，质量就越高，存储所需的内存也就越多。

It uses a small square grid called pixels. The pixel covers a small area and has a value representing the color. The more pixels in the image, the higher the quality and the more memory required for storage.

好吧。图像处理主要处理这些单独的像素(有时是一组像素)，以便计算机视觉算法能够从它们中提取更多的信息。

okay. Image processing mainly deals with these individual pixels (sometimes groups of pixels) so that computer vision algorithms can extract more information from them.

2、NumPy和Skimage的图像基础

在Matplotlib和Skimage中，图像都作为NumPy ndarray加载。

NumPy数组带来灵活性、速度和力量。图像处理也不例外。

Ndarrays可以轻松检索图像的一般详细信息，例如图像的尺寸：

我们的图像高度为853像素，宽度为1280像素。第三维表示RGB（红、绿、蓝）颜色通道的值。最常见的图像格式是3D。

你可以通过常规NumPy索引检索单个像素值。下面，我们尝试索引图像以检索三个颜色通道中的每一个通道：

0表示红色，1表示绿色，2表示蓝色通道-非常简单。

创建了两个函数，show和compare，它们显示一个图像或并排显示其中两个进行比较。在整个教程中，我们将广泛使用这两个函数。

按照约定，ndarray的第三维用于颜色通道，但并不总是遵循此约定。Skimage通常提供参数来指定这种行为。

图像与通常的Matplotlib绘图不同。它们的原点不位于左下角，而是位于左上角的位置（0，0）。

当我们在Matplotlib中绘制图像时，轴表示像素的顺序，但我们通常会隐藏它们。

3、常见转换

我们要执行的最常见的图像转换是将彩色图像转换为灰度图像。许多图像处理算法都需要灰度图像。因为颜色不是图片的定义特征，没有它，计算机仍然可以提取足够的信息。

The most common image conversion we are going to perform is to convert a color image to grayscale. Many image processing algorithms require gray-scale images. Because color is not the defining feature of a picture, without it, the computer can still extract enough information.

当将图像转换为灰度时，它们会丢失其第三维度-颜色通道。相反，图像数组中的每个单元格现在表示uint8类型的整数。它们的范围从0到255，提供256种灰度。

你还可以使用np.flipud或者np.fliplr之类的NumPy函数，随心所欲地以任何方式操纵图像。

在”颜色”模块中，你可以找到许多其他变换函数来处理图像中的颜色。

4、颜色通道直方图

有时，查看每个颜色通道的强度有助于了解颜色分布。我们可以通过对每个颜色通道进行切片并绘制它们的直方图来做到这一点。以下是执行此操作的函数：

Sometimes, looking at the intensity of each color channel helps to understand the color distribution. We can do this by slicing each color channel and drawing their histogram. The following are the functions that do this:

除了Matplotlib的一些细节之外，你还应该注意hist函数的调用。提取颜色通道及其数组后，我们将其展平为1D数组，并将其传递给hist函数。

bin数量应该是256个，每个像素值对应一个-0表示黑色，255表示完全白色。

让我们使用彩色风景图像：

Let’s use color landscape images:

还可以使用直方图在将图像转换为灰度后找出图像中的亮度：

You can also use histograms to find out the brightness in the image after converting the image to grayscale:

大多数像素具有较低的值，因为场景图像较暗。

Most pixels have lower values because the scene image is darker.

在接下来的几节中，我们将探索直方图的更多应用。

We will explore more applications of histograms in the following sections.

1、手动阈值

现在，让我们来看看一些有趣的事情–过滤图像。我们将学到的第一件事是阈值。让我们加载一个示例图像：

Now, let’s take a look at something interesting-filtering images. The first thing we will learn is thresholding. Let’s load a sample image:

阈值分割在图像分割、目标检测、边缘或轮廓提取等方面有着广泛的应用。它主要用于区分图像的背景和前景。

Threshold segmentation is widely used in image segmentation, target detection, edge or contour extraction and so on. it is mainly used to distinguish the background and foreground of the image.

阈值处理在高对比度灰度图像上效果最好：

Threshold processing works best on high contrast grayscale images:

我们将从基本的手动阈值设置开始，然后转到自动阈值设置。

We will start with the basic manual threshold setting and then go to the automatic threshold setting.

首先，让我们看看灰度图像中所有像素的平均值：

First, let’s look at the average of all the pixels in the grayscale image:

请注意，通过将所有灰度图像的值除以256，上述灰度图像的像素在0和1之间进行了归一化。

Notice that the pixels of the above grayscale image are normalized between 0 and 1 by dividing the values of all grayscale images by 256.

我们得到的平均值为0.2，这为我们提供了可能要使用的阈值的初步想法。

现在，我们使用该阈值进行掩码操作。如果像素值低于阈值，则其值将变为0-黑色或1-白色。换句话说，我们得到了一个黑白的二进制图像：

Now, we use this threshold for masking operations. If the pixel value is below the threshold, otherwise its value will become 0-black or 1-white. In other words, we get a black-and-white binary image:

在这个版本中，我们可以更清楚地识别鹿的轮廓。我们可以反转蒙版以使背景变为白色：

In this version, we can identify the outline of the deer more clearly. We can reverse the mask to make the background white:

2、阈值-全局

虽然尝试不同的阈值并观察它们对图像的影响可能很有趣，但我们通常使用比眼球估计更稳健的算法来执行阈值分割。

While it may be interesting to try different thresholds and observe their effects on the image, we usually use algorithms that are more robust than our eyeball estimates to perform threshold segmentation.

有很多阈值算法，所以可能很难选择一种。在这种情况下，skimage具有try_all_threshold函数，该函数在给定的灰度图像上运行七种阈值算法。让我们加载一个示例并进行转换：

我们将看看是否可以使用阈值来优化郁金香的特性：

We’ll see if we can use thresholds to optimize the characteristics of tulips:

正如你所看到的，一些算法在这张图像上工作得更好，而其他算法则很糟糕。otsu算法看起来更好，所以我们将继续使用它。

现在，我想请大家注意郁金香的原始图像：

At this point, I would like to draw your attention to the original image of the tulip:

图像的背景不均匀，因为从后窗进来的光太多了。我们可以通过绘制灰色郁金香的直方图来证明这一点：

The background of the image is uneven because there is too much light coming in from the back window. We can prove this by drawing a histogram of gray tulips:

正如预期的那样，大多数像素的值位于直方图的远端，这证实了它们中的大多数是明亮的。

As expected, the values of most pixels are at the far end of the histogram, which confirms that most of them are bright.

为什么这很重要？根据图像的亮度，阈值算法的性能也会发生变化。因此，通常有两种类型的阈值算法：

Why is this important? According to the brightness of the image, the performance of the threshold algorithm will also change. Therefore, there are usually two types of threshold algorithms:

郁金香图像属于第二类，因为右侧部分比另一半亮得多，使其背景不均匀。我们不能在其上使用全局阈值算法，这就是为什么try_all_threshold中所有算法的性能都很差的原因。

稍后我们将返回到郁金香示例和本地阈值。现在我们将加载另一个亮度更精确的实例，并尝试自动设置阈值：

We will return to the tulip example and local thresholds later. Now we will load another instance with more accurate brightness and try to set the threshold automatically:

我们将在Skimage中使用通用的全局阈值算法threshold_otsu：

它工作得更好！

3、阈值-局部

现在，我们将使用局部阈值算法。

Now, we will use the local threshold algorithm.

局部算法不关注整个图像，而是关注像素邻域，以解释不同区域的亮度不均匀。skimage中常见的局部算法为threshold_local函数：

你必须使用offset参数来找到符合你需要的最佳图像。offset是从局部像素邻域的平均值中减去的常数。该”像素邻域”由local_threshold中的block_size参数确定，该参数表示算法在每个方向上围绕每个点查看的像素数。

显然，同时调整offset和block_size是一个缺点，但局部阈值是唯一比手动或全局阈值产生更好结果的选项。

让我们再举一个例子：

如你所见，经过阈值处理后，黑板上的笔迹更精细了。

As you can see, the handwriting on the blackboard is finer after threshold processing.

4、边缘检测

边缘检测在目标识别、特征提取、统计等方面都有很大的应用价值。

Edge detection is very useful in many aspects, such as identifying objects, extracting features from them, counting them and so on.

我们将从基本的Sobel滤波器开始，它在灰度图像中查找对象的边缘。我们将加载一张硬币图片，并对其使用Sobel滤波器：

sobel很直截了当；你只需在灰色图像上调用它即可获得如上所述的输出。我们将在后面的部分中看到Sobel的更复杂版本。

5、平滑

另一种图像过滤技术是平滑。许多像下面的鸡一样的图像可能包含随机噪声，而对ML和DL算法没有任何有价值的信息。

例如，鸡周围的毛发会给图像添加噪声，这可能会使ML模型的注意力偏离主要对象本身。在这种情况下，我们使用平滑来模糊噪声或边缘并降低对比度。

高斯平滑是最流行和最强大的平滑技术之一：

Gaussian smoothing is one of the most popular and powerful smoothing techniques:

你可以通过调整sigma参数来控制模糊的效果。如果你正在处理RGB图像，请不要忘记将multichannel设置为True。

如果图像分辨率太高，肉眼可能看不到平滑效果，但仍然有效。

If the image resolution is too high, the smoothing effect may not be visible to the naked eye, but it is still valid.

6、对比度增强

有些类型的图像，比如医学分析结果，对比度低，很难找到细节，如下所示：

Some types of images, such as medical analysis results, have low contrast and are difficult to find details, as shown below:

在这种情况下，我们可以使用对比度增强来使细节更清晰。有两种对比度增强算法：

In this case, we can use contrast enhancement to make the details clearer. There are two contrast enhancement algorithms:

在本文中，我们将讨论直方图均衡，它有三种类型：

In this article, we will discuss histogram equalization, which has three types:

直方图均衡化将图像对比度最高的区域扩展到亮度较低的区域，以使其均衡。

Histogram equalization extends the area with the highest contrast of the image to the area with lower brightness to equalize it.

您可以通过从最高像素值中减去最低像素来计算图像的对比度。

You can calculate the contrast of an image by subtracting the lowest pixel from the highest pixel value.

现在，让我们尝试exposure模块中的标准直方图均衡化：

我们已经可以更清楚地看到细节。

We can already see the details more clearly.

接下来，我们将使用CLAHE，它为图像中的不同像素邻域计算许多直方图，即使在最暗的区域也会得到更详细的信息：

这个看起来好多了，因为它可以在背景中显示细节，在左下角显示更多缺失的肋骨。你可以调整clip_limit以获得更多或更少的细节。

7、变换

数据集中的图像可能有几个相互冲突的特征，如不同的比例、未对齐的旋转等。ML和DL算法希望你的图片具有相同的形状和尺寸。因此，你需要学习如何修复它们。

旋转

要旋转图像，请使用”transform”模块中的”rotate”函数。

缩放

另一个标准操作是缩放图像。

Another standard operation is to zoom the image.

我们对此操作使用rescale函数：

当图像分辨率较高时，缩小可能会导致质量损失或像素不协调，从而产生意外的边或角。要考虑这种影响，可以将anti_aliasing设置为True，它使用高斯平滑：

https://gist.github.com/f7ae272b6eb1bce408189d8de2b71656

和以前一样，平滑效果并不明显，但在更细粒度的层面上会更加明显。

As before, the smoothing effect is not obvious, but it will be more obvious at a more fine-grained level.

调整大小

如果希望图像具有特定的宽度和高度，而不是按系数缩放，可以通过提供output_shape来使用resize函数：

某些图像可能会在文件转换、错误下载或许多其他情况下失真、损坏或丢失。

Some images may be distorted, corrupted, or lost in file transformations, incorrect downloads, or in many other cases.

在这一部分中，我们将讨论一些图像恢复技术，从恢复开始。

In this section, we will discuss some image restoration techniques, starting with restoration.

1、修补

该修复算法能够智能地填补图像中的空隙。我找不到损坏的图片，所以我们将使用这张鲸鱼图片，并手动在上面放置一些空白：

The repair algorithm can fill the gaps in the image intelligently. I can’t find the damaged picture, so we’ll use this whale image and manually place some white space on it:

以下函数创建四个变黑区域来模拟图像上丢失的信息：

The following function creates four blackened areas to simulate the information lost on the image:

我们将使用inpaint模块中的inpaint_biharmonic函数来填充空白，并传递我们创建的掩码：

如您所见，在看到故障图像之前，很难判断缺陷区域在哪里。

As you can see, it is difficult to tell where the defect area is until you see the fault image.

现在，让我们制造一些噪音。

Now, let’s make some noise.

点击 图像识别资料 拿走腾讯文档-在线文档https://docs.qq.com/doc/DT2dRWmNNRGtmb2pS ;

2、噪声

如前所述，噪声在图像增强和恢复中起着重要的作用。

As mentioned earlier, noise plays an important role in image enhancement and restoration.

有时，您可能会有意将其添加到下图中：

Sometimes, you may intentionally add it to the following image:

我们使用random_noise函数向图像喷洒随机的颜色斑点。因此，这种方法被称为”盐和胡椒（salt和 pepper）”技术。

3、降噪-去噪

但是，在大多数情况下，您希望从图像中删除噪波，而不是添加噪波。有几种类型的去噪算法：

However, in most cases, you want to remove noise from the image instead of adding noise. There are several types of denoising algorithms:

在本文中，我们将只看前两个。我们先试试TV滤波器

图像的分辨率越高，去噪时间越长。可以使用权重参数来控制消噪效果。

The higher the resolution of the image, the longer the denoising time. You can use weight parameters to control the denoising effect.

现在，让我们尝试denoise_bilateral：

它不如TV滤波器有效，如下所示：

4、分割

图像分割是图像处理中最基本、最日常的课题之一。它在运动与目标检测、图像分类等领域有着广泛的应用。

Image segmentation is one of the most basic and daily topics in image processing. It is widely used in many fields, such as motion and target detection, image classification and so on.

我们已经看到了一个分割的例子–对图像进行阈值处理以从前景中提取背景。

We have seen an example of segmentation-thresholding the image to extract the background from the foreground.

本节将学习更多内容，例如将图像划分为相似的区域。

This section will learn more, such as dividing an image into similar regions.

要开始分割，我们需要理解超像素的概念。

To start segmentation, we need to understand the concept of super pixels.

像素本身只代表颜色的一小部分，一旦与图像分离，单个像素就毫无用处了。因此，分割算法使用多组具有相似对比度、颜色或亮度的像素，称为超像素。

A pixel itself represents only a small part of the color, and once separated from the image, a single pixel will be useless. Therefore, the segmentation algorithm uses multiple sets of pixels with similar contrast, color, or brightness, which are called super pixels.

一种试图找到超像素的算法是简单线性迭代聚类（SLIC），它使用k均值聚类。让我们看看如何在skimage库中提供的咖啡图像上使用它：

我们将使用segmentation模块中的slic函数：

默认情况下，slic会查找100个线段或标签。要将它们放回图像中，我们使用label2rgb函数：

让我们将此操作包装在一个函数中，并尝试使用更多段：

Let’s wrap this operation in a function and try to use more segments:

分割将使计算机视觉算法更容易从图像中提取有用的特征。

Segmentation will make it easier for computer vision algorithms to extract useful features from images.

5、等高线

关于一个物体的大部分信息都存在于它的形状中。如果我们能够检测到物体的线条或轮廓形状，我们就可以提取出有价值的数据。

Most of the information about an object exists in its shape. If we can detect the line or outline shape of the object, we can extract valuable data.

让我们看看如何在实践中使用Domino图像来查找轮廓。

Let’s look at how to use domino images to find contours in practice.

我们将看看是否可以使用skimage中的find_contours函数来隔离瓷砖和圆。此函数需要一个二进制（黑白）图像，因此我们必须先对图像设置阈值。

生成的数组是（n，2）个数组的列表，表示等高线的坐标：

我们将把操作包装在一个名为mark_contours的函数中：

要在图像上绘制等高线，我们将创建另一个名为plot_image_contours的函数，该函数使用上述函数：

正如我们所看到的，我们已经成功地检测到了大部分的轮廓，但我们仍然可以看到中心的一些随机波动。

As we can see, we have successfully detected most of the contours, but we can still see some random fluctuations in the center.

在将Domino图像传递给轮廓查找函数之前对其进行去噪：

Denoise the domino image before passing it to the contour lookup function:

好吧!我们已经消除了导致不正确轮廓的大部分噪音！

okay! We have eliminated most of the noise, which leads to incorrect contours!

1、边缘检测

之前，我们使用Sobel算法来检测对象的边缘。在这里，我们将使用Canny算法，因为它更快、更准确，所以得到了更广泛的应用。一如既往，函数canny需要灰度图像。

这一次，我们将使用包含更多硬币的图像，因此需要检测更多边缘：

This time, we will use an image with more coins, so we need to detect more edges:

要找到边缘，我们只需将图像传递给canny函数：

该算法发现了几乎所有硬币的边缘，但由于硬币上的雕刻也被检测到，因此噪声非常大。我们可以通过调整sigma参数来降低canny的灵敏度：

正如你所见，Canny现在只找到了硬币的大致轮廓。

2、角点检测

另一种重要的图像处理技术是角点检测。在图像分类中，角点可以作为目标的关键特征。

Another important image processing technology is corner detection. Corners can be the key features of objects in image classification.

为了找到角点，我们将使用Harris角点检测算法。让我们加载一个示例图像并将其转换为灰度：

我们将使用corner_harris函数生成一个测量图像，该图像屏蔽了角点所在的区域。

现在，我们将此蒙版度量图像传递给corner_peaks函数，该函数这次返回角点坐标：

该函数找到79个角点。让我们将操作包装到函数中：

现在，我们将创建另一个函数，该函数使用上述函数生成的坐标绘制每个角：

Now we will create another function that draws each corner using the coordinates generated by the above function:

不幸的是，算法并没有像预期的那样工作。标记被放置在砖的交叉处，而不是找到窗户的角落。

Unfortunately, the algorithm did not work as expected. The tag is placed at the intersection of the bricks instead of finding the corner of the window.

这些噪音使它们变得毫无用处。让我们对图像进行去噪，并再次将其传递给该函数：

These are noises that make them useless. Let’s Denoise the image and pass it to the function again:

现在，这好多了！它找到了大部分窗户角。学习资料 人工智能《OpenCV图像识别 》领取腾讯文档-在线文档https://docs.qq.com/doc/DT2dRWmNNRGtmb2pS ;

在真实的计算机视觉问题中，你不能同时使用所有这些。正如您可能已经注意到的，我们今天所学的内容并不复杂，最多只需要几行代码。棘手的部分是将它们应用于实际问题，并实际提高模型的性能。

You don’t use all of this at the same time in real computer vision problems. As you may have noticed, what we have learned today is not complicated and requires at most a few lines of code. The tricky part is to apply them to practical problems and actually improve the performance of the model.

Original: https://blog.csdn.net/m0_59485658/article/details/125953029Author: 代码输入中…Title: 人工智能——图像处理和Python深度学习的全教程（建议收藏）

构建自己的dataloader是模型训练的第一步，本篇文章介绍下pytorch与dataloader以及与其相关的类的用法。

DataLoader类中有一个必填参数为 dataset，因此在构建自己的dataloader前，先要定义好自己的 Dataset类。这里先大致介绍下这两个类的作用：

有小伙伴可能会疑惑，自己写一个加载数据的工具似乎也没有多”困难”，为何大费周章要继承pytorch中类，按照它的规则加载数据呢？关于这点可以参考这里：pytorch dataloader，总结一下就是：

两步走：

下面简单加载一个目录下的图片以及label：

上面是一次加载两张图片，效果如下：

Original: https://blog.csdn.net/qq_34062683/article/details/126528869Author: 惊瑟Title: pytorch dataloader详解

原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/325537/

转载文章受原作者版权保护。转载请注明原作者出处！