pytorch多GPU使用和指定某个GPU并且多gpu比单gpu快吗？

2023-04-08 03:27| 来源: 网络整理| 查看: 265

pytorch使用多GPU

大多数涉及批量输入和多个GPU的情况默认使用DataParallel来使用多个GPU。即使使用GIL，单个python进程也可能使多个GPU饱和。

pytorch指定使用哪个GPU

使用CUDA_VISIBLE_DEVICES，类似tensorflow指定GPU的方法。直接终端中设定：

CUDA_VISIBLE_DEVICES=1 python my_script.py

python代码中设定：

import os os.environ["CUDA_VISIBLE_DEVICES"] = "2"

使用函数set_device，该函数见 pytorch-master\torch\cuda\__init__.py。

import torchtorch.cuda.set_device(id)

不过官方建议使用CUDA_VISIBLE_DEVICES，不建议使用set_device函数。

pytorch多gpu比单gpu快么

有人用multi-gpu和single-gpu在MNIST数据集上训练了一个简单的网络。但是多GPU版本花费时间比单个版本多？这是否与不同的GPU之间的数据切换有关？

其实MNIST数据非常小，您的模型可能非常小，所以在使用多个GPU时，多GPU反而可能开销更大。使用大家没有看到很多优势，但是移动到ImageNet，Pascal等模型较大的大型数据集。就体现出差距了

pytorch选择一个比较好的GPU还是多个次一点的GPU

从上面可以看出，我们还是选择多个GPU比较好，就好比说两个1080 SLI比单个1080 TI好

在训练模型时，GPU内存使用率不断增长

这种问题出现的原因很多，一般情况下你可以去查查程序的优化以及不要存储太多变量

原创文章，转载请注明：pytorch多GPU使用和指定某个GPU并且多gpu比单gpu快吗？ - pytorch中文网原文出处： https://ptorch.com/news/78.html 问题交流群：168117787

【本文地址】

今日新闻