miniconda配置安装pytorch cuda版本 + pytorch lightning

您所在的位置：网站首页 › 安踏红底运动鞋 › miniconda配置安装pytorch cuda版本 + pytorch lightning

miniconda配置安装pytorch cuda版本 + pytorch lightning

2023-01-14 01:21| 来源: 网络整理| 查看: 265

1. 安装miniconda 下载安装包 wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh 执行程序 bash Miniconda3-latest-Linux-x86_64.sh 重启终端或者source .bashrc后安装完毕；执行conda，不报错说明安装成功 2. 更换为清华源

PS：后添加的会排在channels列表的最上面，因此越后添加的优先级越高。

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/ conda config --set show_channel_urls yes conda config --set auto_activate_base false pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

或者修改.condarc文件：

channels: - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/ - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/ - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/ - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ - defaults show_channel_urls: true auto_activate_base: false

PS: 这里的顺序最好一致，排在越上面的表示优先级越高，因此在安装pytorch的时候，会优先在第一个源仓库中去寻找。而gpu版本的pytorch也只有第一个仓库中含有。

conda恢复默认源的方法：

config --remove-key channels conda config --set show_channel_urls yes conda config --set auto_activate_base false

或移除清华源：

conda config --remove channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/

或者修改.condarc文件：

channels: - defaults show_channel_urls: true auto_activate_base: false

3. 新建python3.8环境 conda create -n torch python=3.8

并激活该环境，进入该环境后才能将pytorch安装在此环境中：

conda activate torch

4. 安装pytorch

安装cuda和cudnn按照这篇文章。

安装pytorch前需要查看本机的cuda版本：

nvcc -V

由图可知cuda版本为11.0.221

查看cudnn版本

whereis cudnn 找到相应的目录 cat /usr/local/cudnn/include/cudnn_version.h | grep CUDNN_MAJOR -A 2

可知cudnn版本为8.1.1

如果未安装cuda和cudnn，也可以使用conda来安装，前提是conda源中含有相应的版本。

利用conda安装cuda和cudnn（根据显卡型号安装相应驱动） conda install cudatoolkit=11.0.221 安装cudnn（如果没有安装cudnn，我们可以用conda安装，否则这一步不需要）通过下面的网址可以知道cudnn与cuda版本对应关系： https://developer.nvidia.com/rdp/cudnn-archive#a-collapse742-10 从 https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/linux-64/ 查看有无cuda版本对应的pytorch以及所需要的cudnn版本。

因此cudnn的版本最好为8.0.5 （但是我们这里选择了cudnn=8.1.1，原因是cudnn 8.1.1也支持cuda11.0，选择支持自己cuda版本的最新版本，向下兼容，见下图）

4.1 使用默认源安装pytorch

对应cuda版本11.0.221，我们找到了1.7.1版本的pytorch与之对应。

conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=11.0 -c pytorch 4.2 使用清华源安装pytorch conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=11.0 4.3 指定channel安装pytorch conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=11.0 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch 4.4 本地安装pytorch

这里用pytorch 1.7.1 cuda版本举例。

4.4.1 下载所需的安装包

从清华开源镜像中找到所需要的安装包：

使用wget下载对应的安装包

wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/linux-64/pytorch-1.7.1-py3.8_cuda11.0.221_cudnn8.0.5_0.tar.bz2

或者本地用迅雷下载资源（速度较快）[SCP指令部分] 然后通过scp指令上传到服务器：

scp /Users/username/Downloads/filename username@servername:/path 补充：多文件拷贝 scp /Users/username/filedir/filename1 filename2 filename3 username@servername:/path

PS: scp使用密钥验证并上传文件到服务器：

scp -i 证书的绝对路径/证书.perm 路径/需要上传的文件 username@servername:/path

scp下载单文件指令：

scp username@servername:/path/filename /localdir（本地目录）补充： 1. 多文件拷贝 scp username@servername:/path/\{filename1,filename2,filename3,filepre.* \} /localdir 2. scp默认连接的远端主机22端口，如果ssh不是使用标准的22端口（以222为例）则使用-P（P大写）指定： scp -P 222 username@servername:/path/filename /localdir（本地目录）

scp下载目录文件指令：

scp -r username@servername:/var/www/remote_dir/（远程目录） /local_dir（本地目录）

scp上传目录文件指令：

scp -r local_dir username@servername:remote_dir 4.4.2 conda本地安装

下载完成后开始本地安装。

conda install --use-local pytorch-1.7.1-py3.8_cuda11.0.221_cudnn8.0.5_0.tar.bz2

测试时候会报错，原因是没有安装相关依赖：