Pytorch数据加载

您所在的位置:网站首页 jqplot动态获取的数据无法加载 Pytorch数据加载

Pytorch数据加载

2023-12-31 01:48| 来源: 网络整理| 查看: 265

一、可迭代对象与迭代器简介

可迭代对象(iterable):实现了 __iter__ 方法,该方法返回一个迭代器对象;迭代器(iterator):迭代器含有 __iter__ 和 next 方法,当调用 __iter__ 返回迭代器自身,当调用 next() 方法返回容器下一个值;二者关系:使用 iter(可迭代对象) 转换为 (迭代器). 二、pytorch输入数据pipline“三步走”策略

一般pytorch的数据加载到模型的操作顺序如下:

1、创建一个 Dataset 对象,必须实现 __len__() ,__getitem__() 两个方法,会用到 transform 对数据进行扩充;

2、创建一个 DataLoader 对象,对 Dataset 对象进行迭代的,一般不需要事先实现里面其他方法了;

3、循环遍历DataLoader对象,将img,label 加载到模型中训练。

注:采样器Sampler、Dataset、DataLoader 这三个类均在 torch.utils.data 中定义,简介代码如下:

from torch.utils.data.sampler import Sampler from torch.utils.data.dataset import Dataset from torch.utils.data.dataloader import DataLoader dataset = MyDataset() # 第一步:构建 Dataset 对象 dataloader = DataLoader(dataset) # 第二步:通过Dataloader来构建迭代对象 num_epoches = 100 for epoch in range(num_epoches): for i, data in enumerate(dataloader): # 训练代码

数据集遍历一般化流程:

        for i, data in enumerate(dataloader):  会调用dataloader 的 __iter__() 方法,产生了一个DataLoaderIter(迭代器),这里判断使用单线程还是多线程,调用 DataLoaderIter 的 __next__() 方法来得到 batch data 。在__next__() 方法中使用 __next_index()方法调用sampler(采样器)获得index索引,接着通过 Dataset_fetcher 的 fetch() 方法根据index(索引)调用dataset的 __getitem__() 方法,然后用 collate_fn 把它们打包成batch。当数据读完后, __next__() 抛出一个 StopIteration 异常,for循环结束,dataloader 失效。

三、Dataset类详解

       torch.utils.data.Dataset 是代表这一数据的抽象类(基类),即:Dataset 类是 pytorch 中图像数据中最为重要的一个类,也是 pytorch中所有数据集加载类中应该继承的父类。其中,Dataset类中两个私有成员函数必须被重载,否则将触发错误提示,只需要定义 __len__() 和 __getitem__() 方法。

def __init__(self): 主要是数据获取,如:某文件中获取;def __len__(self): 整个数据集的长度;def __getitem__(self,index): 编写支持数据集索引的函数;        

         例如:通过 dataset[i] 可得到数据集中第 i+1 个数据,即:如果类中定义了 __getitem__() 方法,那么实例对象(假设P)就可以这样 P[key] 取值,当实例对象做 P[key] 操作时,会调用类中的 __getitem__() 方法。  通过复写 __getitem__() 方法 可通过索引 index 来访问数据,能够同时返回 数据 和 标签label,这里的数据和标签都为 Tensor 类型。

四、DataLoader类详解

      DataLoader 是pytorch中用来处理模型输入数据的一个工具,组合了数据集dataset+采样器sampler,并在数据集上提供单线程或多线程(num_workers)的可迭代对象。

DataLoader 几种访问方式:

(1)dataloader 本质上是一个可迭代对象,使用 iter() 访问,不能使用 next() 访问,它本身就是一个可迭代对象, 使用  for i, data in enumerate(dataloader) 来访问。

(2)先使用 iter 对 dataloader 进行第一步包装,使用 iter(dataloader) 返回的是一个迭代器,然后可以使用 next 访问。

注:一般不需要自己去实现 DataLoader 方法了, 只需要在构造函数中指定相应的参数即可,重点介绍一下构造函数中参数的含义。

torch.utils.data.DataLoader(dataset, batch_size=1,shuffle=False,sampler=None, batch_sampler=None, num_workers=0, collate_fn=None, pin_memory=False, drop_last=False, timeout=0,worker_init_fn=None) Arguments: dataset (Dataset): 是一个DataSet对象,表示需要加载的数据集. batch_size (int, optional): 每一个batch加载多少组样本,即指定batch_size,默认是 1 shuffle (bool, optional): 布尔值True或者是False ,表示每一个epoch之后是否对样本进行随机打乱,默认是False ------------------------------------------------------------------------------------ sampler (Sampler, optional): 自定义从数据集中抽取样本的策略,如果指定这个参数,那么shuffle必须为False batch_sampler (Sampler, optional): 与sampler类似,但是一次只返回一个batch的indices(索引),需要注意的是,一旦指定了这个参数,那么batch_size,shuffle,sampler,drop_last就不能再制定了(互斥) ------------------------------------------------------------------------------------ num_workers (int, optional): 这个参数决定了有几个进程来处理data loading。0意味着所有的数据都会被load进主进程。(默认为0) collate_fn (callable, optional): 将一个list的sample组成一个mini-batch的函数(这个还不是很懂) pin_memory (bool, optional): 如果设置为True,那么data loader将会在返回它们之前,将tensors拷贝到CUDA中的固定内存(CUDA pinned memory)中. ------------------------------------------------------------------------------------ drop_last (bool, optional): 如果设置为True:这个是对最后的未完成的batch来说的,比如你的batch_size设置为64,而一个epoch只有100个样本,那么训练的时候后面的36个就被扔掉了,如果为False(默认),那么会继续正常执行,只是最后的batch_size会小一点。 ------------------------------------------------------------------------------------ timeout (numeric, optional): 如果是正数,表明等待从worker进程中收集一个batch等待的时间,若超出设定的时间还没有收集到,那就不收集这个内容了。这个numeric应总是大于等于0。默认为0 worker_init_fn (callable, optional): If not ``None``, this will be called on each worker subprocess with the worker id (an int in ``[0, num_workers - 1]``) as input, after seeding and before data loading. (default: ``None``)

 



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3