|
导读
我们经常会遇到训练模型时数据不够的情况，而且很多时候无法再收集到更多的数据，只能通过做一些数据增强或者其它的方法来合成一些数据。常用的数据增强方式有裁剪、旋转、缩放、亮度对比度色度饱和度变换，这篇文章我们来介绍一个更方便更多方式的数据增强，我们将会通过imgaug库来实现。
imgaug
imgaug是一个python的图像增强库，它能够通过输入图片产生新图片的集合，能够通过不同的策略来改变图片以达到数据增强的目的。 它能够应用于图像分类、图像分割、关键点定位、目标检测等任务的数据增强 github地址：https://github.com/aleju/imgaug 
特点
多种数据增强技术 仿射变换、透视变换、对比度改变、高斯噪声添加、色度饱和度变化、随机裁剪、模糊处理 只处理部分图片 随机顺序组合策略进行数据增强支持多种任务处理 Images、Heatmaps、Segmentation Maps、mask、keypoints、landmarks、Bounding Boxes、Polygons、Line Strings支持多种数据分布 根据不同的数据分布来产生随机参数，支持均匀分布、高斯分布、beta分布内置多种辅助函数 绘制heatmaps、segmentation maps、keypoints、bounding boxes等 缩放segmentation maps、平均池化、最大池化等多核CPU数据增强
安装
环境要求 python2.7或python3.4+使用conda安装和卸载
#安装
conda config --add channels conda-forge
conda install imgaug
#卸载
conda remove imgaug
使用pip安装和卸载
#安装
pip install imgaug
#使用git上最新版本进行安装
pip install git+https://github.com/aleju/imgaug.git
#卸载
pip uninstall imgaug
使用示例
简单的数据增强
import numpy as np
import imgaug as ia
import imgaug.augmenters as iaa
import cv2
def simple_example():
seq = iaa.Sequential([
#从图片边随机裁剪50~100个像素,裁剪后图片的尺寸和之前不一致
#通过设置keep_size为True可以保证裁剪后的图片和之前的一致
iaa.Crop(px=(50,100),keep_size=False),
#50%的概率水平翻转
iaa.Fliplr(0.5),
#50%的概率垂直翻转
iaa.Flipud(0.5),
#高斯模糊,使用高斯核的sigma取值范围在(0,3)之间
#sigma的随机取值服从均匀分布
iaa.GaussianBlur(sigma=(0,3.0))
])
#可以内置的quokka图片,设置加载图片的大小
# example_img = ia.quokka(size=(224,224))
#这里我们使用自己的图片
example_img = cv2.imread("example.jpg")
#对图片的通道进行转换,由BGR转为RGB
#imgaug处理的图片数据是RGB通道
example_img = example_img[:,:,::-1]
#数据增强,针对单张图片
aug_example_img = seq.augment_image(image=example_img)
print(example_img.shape,aug_example_img.shape)
#(700, 700, 3) (544, 523, 3)
#显示图片
ia.imshow(aug_example_img)
simple_example()
结合多种数据增强策略
import numpy as np
import imgaug as ia
import imgaug.augmenters as iaa
import cv2
#设置随机数种子
ia.seed(8)
def example():
#读取图片
example_img = cv2.imread("example.jpg")
#通道转换
example_img = example_img[:, :, ::-1]
#对图片进行缩放处理
example_img = cv2.resize(example_img,(224,224))
seq = iaa.Sequential([
iaa.Fliplr(0.5),
#随机裁剪图片边长比例的0~0.1
iaa.Crop(percent=(0,0.1)),
#Sometimes是指指针对50%的图片做处理
iaa.Sometimes(
0.5,
#高斯模糊
iaa.GaussianBlur(sigma=(0,0.5))
),
#增强或减弱图片的对比度
iaa.LinearContrast((0.75,1.5)),
#添加高斯噪声
#对于50%的图片,这个噪采样对于每个像素点指整张图片采用同一个值
#剩下的50%的图片，对于通道进行采样(一张图片会有多个值)
#改变像素点的颜色(不仅仅是亮度)
iaa.AdditiveGaussianNoise(loc=0,scale=(0.0,0.05*255),per_channel=0.5),
#让一些图片变的更亮,一些图片变得更暗
#对20%的图片,针对通道进行处理
#剩下的图片,针对图片进行处理
iaa.Multiply((0.8,1.2),per_channel=0.2),
#仿射变换
iaa.Affine(
#缩放变换
scale={"x":(0.8,1.2),"y":(0.8,1.2)},
#平移变换
translate_percent={"x":(-0.2,0.2),"y":(-0.2,0.2)},
#旋转
rotate=(-25,25),
#剪切
shear=(-8,8)
)
#使用随机组合上面的数据增强来处理图片
],random_order=True)
#生成一个图片列表
example_images = np.array(
[example_img for _ in range(32)],
dtype=np.uint8
)
aug_imgs = seq(images = example_images)
#显示图片
ia.show_grid(aug_imgs,rows=4,cols=8)
example()
bounding box的数据增强
from imgaug.augmentables.bbs import BoundingBox,BoundingBoxesOnImage
def bounding_box_example():
#读取图片
img = cv2.imread("example.jpg")
#变换通道
img = img[:, :, ::-1]
bbs = BoundingBoxesOnImage([
#目标在图片上的位置
BoundingBox(x1=340,y1=236,x2=598,y2=481)
],shape=img.shape)
#数据增强
seq = iaa.Sequential([
iaa.AdditiveGaussianNoise(scale=0.05*255),
iaa.Affine(translate_px={"x":(10,100)})
])
#变换后的图片和box
img_aug,bbs_aug = seq(image=img,bounding_boxes=bbs)
#绘制变换前box在图片上的位置
img_before = bbs.draw_on_image(img,size=2)
#绘制图片变换后box在图片上的位置
img_after = bbs_aug.draw_on_image(img_aug,size=2,color=[255,0,0])
ia.show_grid([img_before,img_after],rows=1,cols=2)
bounding_box_example()
 通过上面两张图对比，可以发现变换前后，box在图片上的位置并没有发生变化。
数据增强参数的数据分布设置
def param_distribution():
img = cv2.imread("example.jpg")
img = img[:,:,::-1]
#高斯模糊数据增强,参数服从均匀分布
aug_blurer = iaa.GaussianBlur(10 + iap.Uniform(0.1,3.0))
img_aug = aug_blurer(image=img)
#Clip裁剪参数的范围,使其在0.1到3.0之间
aug_blurer = iaa.GaussianBlur(iap.Clip(iap.Normal(1.0,0.1),0.1,3.0))
img_aug = aug_blurer(image=img)
针对部分通道进行数据增强处理
import numpy as np
import imgaug.augmenters as iaa
# fake RGB images
images = np.random.randint(0, 255, (16, 128, 128, 3), dtype=np.uint8)
# add a random value from the range (-30, 30) to the first two channels of
# input images (e.g. to the R and G channels)
aug = iaa.WithChannels(
channels=[0, 1],
children=iaa.Add((-30, 30))
)
images_aug = aug(images=images)
|