|
数据集划分，Oxford Flower102花卉分类数据集，分为训练集、测试集
Oxford Flower102数据集链接：https://www.robots.ox.ac.uk/~vgg/data/flowers/102/ 参考：https://www.jianshu.com/p/71d4a8c1b68b
1、Flower102鲜花分类数据集概览及下载
下载上图的145，1解压后可得到一个包含8189张.jpg格式的图片（放在jpg文件夹中）以及imagelabels.mat和setid.mat。数据集结构： -imagelabels.mat：总共有8189列，每列上的数字代表类别号。 -setid.mat： trnid.mat:总共有1020列，每10列为一类花卉的图片，每列上的数字代表图片号。 valid.mat:总共有1020列，每10列为一类花卉的图片，每列上的数字代表图片号。 tstid.mat:总共有6149列，每一类花卉的列数不定，每列上的数字代表图片
2、准备工作
在项目中新建文件夹prepare_pic，再在prepare_pic下新建文件夹test、train、validation。之后会把数据分进这三个文件夹中。把jpg文件夹（包含8189张.jpg格式图片）、imagelabels.mat和setid.mat如图所示放好。data_prepare.ipynb用来数据集处理。 
3、实现数据集划分
3.1 引入所需库
# encoding:utf-8
import scipy.io
import numpy as np
import os
from PIL import Image
import shutil
3.2 获取label
labels = scipy.io.loadmat('imagelabels.mat')#该地址为imagelabels.mat的相对地址
labels = np.array(labels['labels'][0]) - 1
print("labels:", labels)
3.3 用data split的setid，分出validation、train、test
setid = scipy.io.loadmat('setid.mat')#该地址为setid.mat的相对地址
validation = np.array(setid['valid'][0]) - 1
np.random.shuffle(validation)
train = np.array(setid['trnid'][0]) - 1
np.random.shuffle(train)
test = np.array(setid['tstid'][0]) - 1
np.random.shuffle(test)
3.4 把数据导进flower_dir
flower_dir = list()
for img in os.listdir("..\\flower_data\\jpg"):#该地址为源数据图片的相对地址
flower_dir.append(os.path.join("..\\flower_data\\jpg", img))
flower_dir.sort()
3.5 根据setid分出的train，把训练数据放进train文件夹
des_folder_train = "train"#该地址可为新建的训练数据集文件夹的相对地址
for tid in train:
#打开图片并获取标签
img = Image.open(flower_dir[tid])
print(img)
# print(flower_dir[tid])
img = img.resize((256, 256), Image.ANTIALIAS)
lable = labels[tid]
# print(lable)
path = flower_dir[tid]
print("path:", path)
base_path = os.path.basename(path)
print("base_path:", base_path)
classes = "c" + str(lable)
class_path = os.path.join(des_folder_train, classes)
# 判断结果
if not os.path.exists(class_path):
os.makedirs(class_path)
print("class_path:", class_path)
despath = os.path.join(class_path, base_path)
print("despath:", despath)
img.save(despath)
3.6 根据setid分出的validation，把验证数据放进validation文件夹
des_folder_validation = "validation"#该地址为新建的验证数据集文件夹的相对地址
for tid in validation:
img = Image.open(flower_dir[tid])
# print(flower_dir[tid])
img = img.resize((256, 256), Image.ANTIALIAS)
lable = labels[tid]
# print(lable)
path = flower_dir[tid]
print("path:", path)
base_path = os.path.basename(path)
print("base_path:", base_path)
classes = "c" + str(lable)
class_path = os.path.join(des_folder_validation, classes)
# 判断结果
if not os.path.exists(class_path):
os.makedirs(class_path)
print("class_path:", class_path)
despath = os.path.join(class_path, base_path)
print("despath:", despath)
img.save(despath)
3.7 根据setid分出的test，把测试数据放进test文件夹
des_folder_test = "test"#该地址为新建的测试数据集文件夹的绝对地址
for tid in test:
img = Image.open(flower_dir[tid])
# print(flower_dir[tid])
img = img.resize((256, 256), Image.ANTIALIAS)
lable = labels[tid]
# print(lable)
path = flower_dir[tid]
print("path:", path)
base_path = os.path.basename(path)
print("base_path:", base_path)
classes = "c" + str(lable)
class_path = os.path.join(des_folder_test, classes)
# 判断结果
if not os.path.exists(class_path):
os.makedirs(class_path)
print("class_path:", class_path)
despath = os.path.join(class_path, base_path)
print("despath:", despath)
img.save(despath)
4、最终结果
|