服务器有多张GPU可Pytorch中却只能检测到一张卡（several GPUs, only one can be detected） |
您所在的位置：网站首页 › gpu的型号怎么看出来是多少 › 服务器有多张GPU可Pytorch中却只能检测到一张卡（several GPUs, only one can be detected） |
服务器有多张GPU可Pytorch中却只能检测到一张卡（several GPUs, only one can be detected）
|
遇到了一个棘手的问题，实验室服务器有8张GPU，在使用nvidia-smi时候也能显示8张GPU的编号和使用情况，但是真正在自己跑程序的时候却只能识别到1张卡，且默认是在0号卡上。这样就导致了一个问题，当0号卡有别人在跑程序的时候，经常会出现out of memory的错误。如果你强行在代码中通过诸如： torch.cuda.set_device(4)或者 import os os.environ["CUDA_VISIBLE_DEVICES"]="4"类似的形式进行指定，却又发现会报错“invalid device ...”大意就是说你指定的这个卡是没有的。显然，这个错误信息是说，尽管服务器上有多张卡，但实际只识别了默认的0号这一张卡，所以你指定其它的卡都会报错。经过万千搜索，终于找到了一个相同的情况：Two GPUs, but 2nd GPU not detected. How to fix? - CUDA Setup and Installation - NVIDIA Developer Forums 简单地说，就是你需要在自己的.bashrc文件中进行声明一下，参考如下截图：
如果你是两张卡，对应就在.bashrc末尾加上export CUDA_VISIBLE_DEVICES=0,1摸着葫芦画瓢即可。保存后，需要使用source命令“重启”一下.bashrc文件使得设置生效,即在终端中运行: source ~/.bashrc我这样做完后，运行 print(torch.cuda.device_count())输出结果仍然是1，好像没有效果一样。这时候，大杀器可以登场了，然后显式在代码中注明： import os os.environ["CUDA_VISIBLE_DEVICES"]="0,1,2,3,4,5,6,7"这时候你会发现 print(torch.cuda.device_count())的结果等于8了！至此说明服务器上所有的GPU都可以为你所用了！这时候，使用 torch.cuda.set_device(4)就可以顺利地设置自己的程序在指定GPU上运行了！！！一个小毛病折腾了我太多时间！ |
【本文地址】