我的机器上以下三条指令输出的版本不相同。

我想以此为契机，彻底搞清楚CUDA、cuDNN和torch之间的关系。

环境：

Ubuntu 22.04

torch==2.1.2

CUDA的版本傻傻分不清楚？请看电子包浆一图流：

Driver是唯一能驱动GPU的，一般N卡都自带。它虽然也叫CUDA，但深度学习项目中所说的CUDA不是它。

Runtime是Driver的进一步封装，API更简洁。一般需要自己安装。它就是我们在深度学习项目中所说的CUDA，因为Runtime是torch+cu版本的必要依赖。

ps：其实这张图画得有问题。CUDA Application不能同时用Runtime和Driver的API，两者是互斥的。

这个命令是CUDA Driver的组件，也就是说基本所有有N卡的机器都能使用这个命令。

注意，nvidia-smi 不可查询CUDA版本！！！这张图最上面的Driver Version是实际的版本号，但CUDA Version不是实际的版本号，而是当前Driver支持的最高CUDA版本。CUDA向下兼容，你的CUDA必须要小于等于这个版本号。

这里贴个nvidia-smi 命令的详细用法

很简单，nvcc是CUDA Runtime的编译器。输出的版本号就是机器上CUDA Runtime的版本号。如下图第四行的末尾：

它的输出不是当前CUDA的版本号！！！而是当前torch支持的最高CUDA版本！！！

上源码： 源码里的torch.version 都是用字符串写定的，根本没有去检查CUDA版本。

torch/cudnn/__init__.py 第八十行有源码（下图），但仅仅是一个封装了一个api，不知道输出究竟是什么逻辑。注意94行还有一个我们常用的is_available()。 再找__cudnn.version是怎么来的（下图）。第27行显示是_cudnn.getVersionInt()，注意到第十行，找到torch._C的目录（记得is_available()吗，同样是这个目录）。 打开torch/_C全部是python存根。__init__.pyi里没有getVersionInt() ，有两个常量：_has_cuda和_has_cudnn，只规定了bool类型。torch/_C中存在_cudnn.pyi，如下图： 第5行所写的torch/csrc是空的。到这线索就断了。

虽然没有找到可读的源码，但我们已经可以得出一些有效的结论：