在深度学习（图像领域）中，为了提升训练样本数量数据增强是非常常见的手段。比如：

本文涉及的内容有：—— 使用OpenCV进行演示

仿射变换，又称仿射映射，是指在几何中，一个向量空间进行一次线性变换并接上一个平移，变换为另一个向量空间。 仿射变换是在几何上定义为两个向量空间之间的一个仿射变换或者仿射映射（来自拉丁语，affine，“和…相关”）由一个非奇异的线性变换(运用一次函数进行的变换)接上一个平移变换组成。

简单来说，“仿射变换”就是：“线性变换”+“平移”。

线性映射（ linear mapping）是从一个向量空间 V \mathbb{V} V 到另一个向量空间 W \mathbb{W} W 的映射且保持加法运算和数量乘法运算，而线性变换（linear transformation）是线性空间 V \mathbb{V} V 到其自身的线性映射（linear transformation）。

实际上线性变换可以理解为在有一定条件（后面会细讲）的一个函数，实现将一个向量映射到另一个向量的效果。

举一些例子就很清楚在深度学习数据增强中线性变换是什么了，常见的的线性变换有：

值得注意的是，平移并不是线性变换。

线性变换有三个特点：

图来源：https://blog.csdn.net/weixin_41107577/article/details/115356839

举这个例子的目的是想明白一件事情，就是矩阵的线性变换都是可以通过乘一个变换矩阵完成的。换到数据增强上，图片的旋转、缩放等一系列线性变换的操作其实也可以通过求一个变换矩阵，之后让我们的图片与变换矩阵相乘得到我们的目的矩阵。

“仿射变换”就是：“线性变换”+“平移”。刚才我们讲了线性变换，接下来看一下平移是怎么操作的。图来源仍是https://blog.csdn.net/weixin_41107577/article/details/115356839。

平移属于仿射变换

相比线性变换而言，少了原点保持不变这一条。主要的原因就是因为仿射变换包含平移。

一般数据增强使用的库有：①Pillow；②OpenCV。一般而言使用OpenCV居多（因其功能齐全）。在OpenCV中可以通过仿射变换来实现①旋转，②缩放，③平移以④及错切等一系列操作。仿射变换的矩阵乘法形式如下：

[ x ′ y ′ 1 ] = [ m 11 m 12 m 13 m 21 m 22 m 23 0 0 1 ] [ x y 1 ] \left[\begin{matrix}x' \cr y' \cr 1\end{matrix}\right] = \left[ \begin{matrix} m_{11} & m_{12} & m_{13} \\ m_{21} & m_{22} & m_{23} \\ 0 & 0 & 1 \end{matrix} \right] \left[ \begin{matrix} x \\ y \\ 1 \end{matrix} \right] ⎣⎡​x′y′1​⎦⎤​=⎣⎡​m11​m21​0​m12​m22​0​m13​m23​1​⎦⎤​⎣⎡​xy1​⎦⎤​

其中x , x , y x, y x,y是变换前的坐标， x ′ , y ′ x', y' x′,y′是变换后的坐标。其中 m 11 , m 12 , m 21 , m 22 m_{11}, m_{12}, m_{21}, m_{22} m11​,m12​,m21​,m22​为线性变换参数， m 13 , m 23 m_{13}, m_{23} m13​,m23​为平移参数。如果仿射矩阵是对角矩阵，相当于不做任何操作。

我们看上面的公式其实可以发现，和1.1.4、1.2中的示例是一个意思。

注意：变换矩阵在图片矩阵的左侧。

OpenCV中仿射变换的流程如下：

首先再次强调下图像处理中的坐标系，水平向右为 x x x轴正方向，竖直向下为 y y y轴正方向。

对于图像的旋转，缩放，平移都可以直接通过使用OpenCV提供的getRotationMatrix2D方法来求得仿射矩阵，

getRotationMatrix2D官方文档

需要传入

变换将旋转中心映射到自身。 参数

假设以图片中心为旋转中心，顺时针旋转30度（OpenCV里是以逆时针为正，所以angle=-30），并缩放0.5倍：

得到如下的仿射矩阵（旋转矩阵）：

接着使用OpenCV中的warpAffine的方法利用求得的仿射矩阵M做仿射变换，

warpAffine官方文档

其中

结果如下： 如图，左边是原图，右边是旋转、缩放、平移后的图片。

注意，旋转后如果有超出指定范围dsize的像素都会被截去。我们可以尝试一下将desize=(w//2, h//2)：

https://blog.csdn.net/qq_37541097/article/details/119420860

接着结合上面的仿射变换公式来讲。其中 m 11 , m 12 , m 21 , m 22 m_{11}, m_{12}, m_{21}, m_{22} m11​,m12​,m21​,m22​为线性变换参数（沿坐标原点旋转就是一个简单的线性变换）， m 13 , m 23 m_{13}, m_{23} m13​,m23​为平移参数（分别对应x轴方向平移和y轴方向平移）。

[ m 11 m 12 m 13 m 21 m 22 m 23 0 0 1 ] \left[ \begin{matrix} m_{11} & m_{12} & m_{13} \\ m_{21} & m_{22} & m_{23} \\ 0 & 0 & 1 \end{matrix} \right] ⎣⎡​m11​m21​0​m12​m22​0​m13​m23​1​⎦⎤​

上一节的操作可以分解为如下三步

前两步属于线性变换，最后一步属于仿射变换

对于第一步的原点旋转对应的仿射矩阵为：

[ 0.866 − 0.5 0 0.5 0.866 0 0 0 1 ] \left[ \begin{matrix} 0.866 & -0.5 & 0 \\ 0.5 & 0.866 & 0 \\ 0 & 0 & 1 \end{matrix} \right] ⎣⎡​0.8660.50​−0.50.8660​001​⎦⎤​

当然这里也可以直接使用旋转矩阵模板来计算，但需要注意的是模板里的旋转矩阵默认y轴是竖直向上的，但图像处理中y轴是竖直向下的，且都是以逆时针旋转为正，所以这里的 θ = 30 ° \theta = 30° θ=30°：

[ cos ⁡ ( θ ) − sin ⁡ ( θ ) 0 sin ⁡ ( θ ) cos ⁡ ( θ ) 0 0 0 1 ] \left[ \begin{matrix} \cos(\theta) & -\sin(\theta) & 0 \\ \sin(\theta) & \cos(\theta) & 0 \\ 0 & 0 & 1 \end{matrix} \right] ⎣⎡​cos(θ)sin(θ)0​−sin(θ)cos(θ)0​001​⎦⎤​

对于第二步图片的缩放，直接使用如下缩放矩阵：

[ S x 0 0 0 S y 0 0 0 1 ] \left[ \begin{matrix} S_x & 0 & 0 \\ 0 & S_y & 0 \\ 0 & 0 & 1 \end{matrix} \right] ⎣⎡​Sx​00​0Sy​0​001​⎦⎤​

假设要将图片缩放0.5倍，那么缩放矩阵为： [ 0.5 0 0 0 0.5 0 0 0 1 ] \left[ \begin{matrix} 0.5 & 0 & 0 \\ 0 & 0.5 & 0 \\ 0 & 0 & 1 \end{matrix} \right] ⎣⎡​0.500​00.50​001​⎦⎤​

因为旋转和缩放都属于线性变换（平移是仿射变换），所以二者是可以组合的，由于两个线性变换矩阵满足结合律（在本章开头我们就说了，变换矩阵在图片矩阵的左侧），所以：

[ x ′ y ′ 1 ] 线 性 变 换 后 的 矩 阵 = [ 0.5 0 0 0 0.5 0 0 0 1 ] 缩 放 矩 阵 [ 0.866 − 0.5 0 0.5 0.866 0 0 0 1 ] 旋 转 矩 阵 [ x y 1 ] 图 片 矩 阵 = [ 0.433 − 0.25 0 0.25 0.433 0 0 0 1 ] 旋 转 缩 放 矩 阵 [ x y 1 ] 图 片 矩 阵 \begin{aligned} \underset{线性变换后的矩阵}{ \left[ \begin{matrix} x' \\ y'\\ 1 \end{matrix} \right]} & = \underset{缩放矩阵} {\left[ \begin{matrix} 0.5 & 0 & 0 \\ 0 & 0.5 & 0 \\ 0 & 0 & 1 \end{matrix} \right]} \underset{旋转矩阵}{ \left[ \begin{matrix} 0.866 & -0.5 & 0 \\ 0.5 & 0.866 & 0 \\ 0 & 0 & 1 \end{matrix} \right]} \underset{图片矩阵}{ \left[ \begin{matrix} x \\ y\\ 1 \end{matrix} \right]} \\ & = \underset{旋转缩放矩阵}{ \left[ \begin{matrix} 0.433 & -0.25 & 0 \\ 0.25 & 0.433 & 0 \\ 0 & 0 & 1 \end{matrix} \right]} \underset{图片矩阵}{ \left[ \begin{matrix} x \\ y\\ 1 \end{matrix} \right]} \end{aligned} 线性变换后的矩阵⎣⎡​x′y′1​⎦⎤​​​=缩放矩阵⎣⎡​0.500​00.50​001​⎦⎤​​旋转矩阵⎣⎡​0.8660.50​−0.50.8660​001​⎦⎤​​图片矩阵⎣⎡​xy1​⎦⎤​​=旋转缩放矩阵⎣⎡​0.4330.250​−0.250.4330​001​⎦⎤​​图片矩阵⎣⎡​xy1​⎦⎤​​​

对于第三步图片的平移，即将旋转、缩放后的图像中心移至原图像中心。这里示例中的图片 w = 360 , h = 349 w = 360, h = 349 w=360,h=349，故原图片中心点坐标是 ( 180 , 174 ) (180, 174) (180,174) ，旋转后的中心点坐标是 ( 34.44 , 120.342 ) (34.44, 120.342) (34.44,120.342)：

[ 34.44 120.342 1 ] 旋 转 后 的 中 心 点 = [ 0.433 − 0.25 0 0.25 0.433 0 0 0 1 ] 旋 转 缩 放 矩 阵 [ 180 174 1 ] 中 心 点 矩 阵 \underset{旋转后的中心点}{ \left[ \begin{matrix} 34.44 \\ 120.342 \\ 1 \end{matrix} \right]} = \underset{旋转缩放矩阵}{ \left[ \begin{matrix} 0.433 & -0.25 & 0 \\ 0.25 & 0.433 & 0 \\ 0 & 0 & 1 \end{matrix} \right]} \underset{中心点矩阵}{ \left[ \begin{matrix} 180 \\ 174 \\ 1 \end{matrix} \right]} 旋转后的中心点⎣⎡​34.44120.3421​⎦⎤​​=旋转缩放矩阵⎣⎡​0.4330.250​−0.250.4330​001​⎦⎤​​中心点矩阵⎣⎡​1801741​⎦⎤​​

所以需要向 x 轴正方向平移 180 − 34.44 = 145.56 180-34.44=145.56 180−34.44=145.56 ，向 y 轴正方向平移 174 − 120.342 = 53.658 174-120.342=53.658 174−120.342=53.658，刚上面说了 m 13 , m 23 m_{13}, m_{23} m13​,m23​为平移参数（分别对应x轴方向平移和y轴方向平移）所以 m 13 = 145.56 , m 23 = 53.658 m_{13}=145.56, m_{23}=53.658 m13​=145.56,m23​=53.658（在对角矩阵的基础上设置 m 13 , m 23 m_{13}, m_{23} m13​,m23​即可）

[ 1 0 145.56 0 1 53.658 0 0 1 ] 平 移 矩 阵 \underset{平移矩阵}{ \left[ \begin{matrix} 1 & 0 & 145.56 \\ 0 & 1 & 53.658 \\ 0 & 0 & 1 \end{matrix} \right]} 平移矩阵⎣⎡​100​010​145.5653.6581​⎦⎤​​

和旋转缩放后的仿射矩阵进一步结合起来：

[ x ′ y ′ 1 ] 线 性 变 换 后 的 矩 阵 = [ 1 0 145.56 0 1 53.658 0 0 1 ] 平 移 矩 阵 [ 0.433 − 0.25 0 0.25 0.433 0 0 0 1 ] 旋 转 缩 放 矩 阵 [ x y 1 ] 图 片 矩 阵 = [ 0.433 − 0.25 145.56 0.25 0.433 53.658 0 0 1 ] 完 整 的 仿 射 矩 阵 [ x y 1 ] 图 片 矩 阵 \begin{aligned} \underset{线性变换后的矩阵}{ \left[ \begin{matrix} x' \\ y'\\ 1 \end{matrix} \right]} & = \underset{平移矩阵}{ \left[ \begin{matrix} 1 & 0 & 145.56 \\ 0 & 1 & 53.658 \\ 0 & 0 & 1 \end{matrix} \right]} \underset{旋转缩放矩阵}{ \left[ \begin{matrix} 0.433 & -0.25 & 0 \\ 0.25 & 0.433 & 0 \\ 0 & 0 & 1 \end{matrix} \right]} \underset{图片矩阵}{ \left[ \begin{matrix} x \\ y\\ 1 \end{matrix} \right]}\\ & = \underset{完整的仿射矩阵}{ \left[ \begin{matrix} 0.433 & -0.25 & 145.56 \\ 0.25 & 0.433 & 53.658 \\ 0 & 0 & 1 \end{matrix} \right]} \underset{图片矩阵}{ \left[ \begin{matrix} x \\ y\\ 1 \end{matrix} \right]} \end{aligned} 线性变换后的矩阵⎣⎡​x′y′1​⎦⎤​​​=平移矩阵⎣⎡​100​010​145.5653.6581​⎦⎤​​旋转缩放矩阵⎣⎡​0.4330.250​−0.250.4330​001​⎦⎤​​图片矩阵⎣⎡​xy1​⎦⎤​​=完整的仿射矩阵⎣⎡​0.4330.250​−0.250.4330​145.5653.6581​⎦⎤​​图片矩阵⎣⎡​xy1​⎦⎤​​​

这个矩阵刚好和前面使用OpenCV方法cv2.getRotationMatrix2D(center=(w // 2, h // 2), angle=-30, scale=0.5)得到的矩阵是一样的。

处理的顺序非常重要，先旋转，在缩放，最后平移（顺序不一样结果不同）

OpenCV中得到的矩阵是 2 × 3 2×3 2×3的，我们自己刚刚算的是 3 × 3 3×3 3×3的仿射矩阵，最后使用cv2.warpAffine时只用传入前两行就行了。使用 3 × 3 3\times3 3×3的矩阵是为了方便将多个仿射矩阵进行相乘操作。

图像的错切(shear)变换实际上是平面景物在投影平面上的非垂直投影效果。图像错切变换也称为图像剪切、错位或错移变换。一般错切分为

在OpenCV中并没有直接针对错切生成仿射矩阵的方法，所以我们需自己可以构建错切对应的仿射矩阵，然后利用cv2.warpAffine进行仿射变换即可。下面是错切对应的仿射矩阵，其中 θ \theta θ 表示错切角度， tan ⁡ ( θ 1 ) \tan(\theta_1) tan(θ1​) 是x轴方向的错切参数， tan ⁡ ( θ 2 ) \tan(\theta_2) tan(θ2​) 是y轴方向的错切参数。

[ x ′ y ′ 1 ] = [ 1 tan ⁡ ( θ 1 ) 0 tan ⁡ ( θ 2 ) 1 0 0 0 1 ] [ x y 1 ] \left[\begin{matrix}x' \\ y' \\ 1\end{matrix}\right] = \begin{bmatrix} 1 & \tan(\theta_1) & 0 \\ \tan(\theta_2) & 1 & 0 \\ 0 & 0 & 1 \end{bmatrix} \left[\begin{matrix}x \\y \\1\end{matrix}\right] ⎣⎡​x′y′1​⎦⎤​=⎣⎡​1tan(θ2​)0​tan(θ1​)10​001​⎦⎤​⎣⎡​xy1​⎦⎤​

假设要沿水平方向错切 30 ° 30\degree 30°，那么仿射矩阵为：

[ 1 tan ⁡ ( 30 ° ) 0 tan ⁡ ( 30 ° ) 1 0 0 0 1 ] = [ 1 0.577 0 0 1 0 0 0 1 ] \begin{bmatrix} 1 & \tan(30\degree) & 0 \\ \tan(30\degree) & 1 & 0 \\ 0 & 0 & 1 \end{bmatrix} = \begin{bmatrix} 1 & 0.577 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{bmatrix} ⎣⎡​1tan(30°)0​tan(30°)10​001​⎦⎤​=⎣⎡​100​0.57710​001​⎦⎤​