PyTorch加载自己的数据集实例详解

您所在的位置：网站首页 › pytorch自制数据集 › PyTorch加载自己的数据集实例详解

PyTorch加载自己的数据集实例详解

2023-10-29 13:22| 来源: 网络整理| 查看: 265

数据预处理在解决深度学习问题的过程中，往往需要花费大量的时间和精力。数据处理的质量对训练神经网络来说十分重要，良好的数据处理不仅会加速模型训练，更会提高模型性能。为解决这一问题，PyTorch提供了几个高效便捷的工具，以便使用者进行数据处理或增强等操作，同时可通过并行化加速数据加载。

数据集存放大致有以下两种方式：

(1）所有数据集放在一个目录下，文件名上附有标签名，数据集存放格式如下： root/cat_dog/cat.01.jpg

root/cat_dog/cat.02.jpg

……………………

root/cat_dog/dog.01.jpg

root/cat_dog/dog.02.jpg

………………….

(2）不同类别的数据集放在不同目录下，目录名就是标签，数据集存放格式如下：

root/ants/xxx.png

root/ants/xxy.jpeg

root/ants/xxz.png

…………….

root/bees/123.jpg

root/bees/nsdf3.png

root/bees/asd932_.png

………………

1.1 对第1种数据集的处理步骤

（1）生成包含各文件名的列表(List)

（2）定义Dataset的一个子类，该子类需要继承Dataset类，查看Dataset类的源码

（3）重写父类Dataset中的两个魔法方法：一个是: __lent__(self),其功能是len(Dataset),返回Dataset的样本数。另一个是__getitem__(self,index)，其功能假设索引为i，使Dataset[i]返回第i个样本。

（4）使用torch.utils.data.DataLoader加载数据集Dataset.

1.2 实例详解

以下以cat-dog数据集为例，说明如何实现自定义数据集的加载。

1.2.1 数据集结构

所有数据集在cat-dog目录下：

.\cat_dog\cat.01.jpg

.\cat_dog\cat.02.jpg

.\cat_dog\cat.03.jpg

………………..

.\cat_dog\dog.01.jpg

.\cat_dog\dog.02.jpg

………………..

1.2.2 导入需要用到的模块

from torch.utils.data import DataLoader,Dataset from skimage import io,transform import matplotlib.pyplot as plt import oimport torch from torchvision import transforms, utils from PIL import Image import pandas as pd import numpy as np #过滤警告信息 import warnings warnings.filterwarnings("ignore")

1.2.3定义加载自定义数据的类

class MyDataset(Dataset): #继承Dataset def __init__(self, path_dir, transform=None): #初始化一些属性 self.path_dir = path_dir #文件路径,如'.\data\cat-dog' self.transform = transform #对图形进行处理，如标准化、截取、转换等 self.images = os.listdir(self.path_dir)#把路径下的所有文件放在一个列表中 def __len__(self):#返回整个数据集的大小 return len(self.images) def __getitem__(self,index):#根据索引index返回图像及标签 image_index = self.images[index]#根据索引获取图像文件名称 img_path = os.path.join(self.path_dir, image_index)#获取图像的路径或目录 img = Image.open(img_path).convert('RGB')# 读取图像 # 根据目录名称获取图像标签（cat或dog） label = img_path.split('\')[-1].split('.')[0] #把字符转换为数字cat-0，dog-1 label = 1 if 'dog' in label else 0 if self.transform is not None: img = self.transform(img) return img,label

1.2.4 实例化类

dataset = MyDataset('.\data\cat-dog',transform=None) img, label = dataset[0] #将启动魔法方法__getitem__(0) print(type(img))

【本文地址】

PyTorch加载自己的数据集实例详解

PyTorch加载自己的数据集实例详解

今日新闻

推荐新闻