docker创建深度学习pytorch环境

您所在的位置:网站首页 deepin直接安装apk docker创建深度学习pytorch环境

docker创建深度学习pytorch环境

2023-06-09 17:20| 来源: 网络整理| 查看: 265

目录

一、获取镜像

二、创建容器

三、上传代码以及数据集(这一步可选,可直接跳到4)

四、容器中安装所需的包

1、docker 内pip安装太慢的问题,更换源(目前适用,可能变化,搜索对应的方法即可),直接输入以下命令

2、可能出现read time out的问题:

3、安装对应python依赖包

五、更新容器的apt源,安装opencv-python依赖库

1、首先更换阿里源,否则下载慢

2、此时如果直接开始训练,会报错,类似如下:

这里的解决方法有两种:

六、错误记录

一、获取镜像

直接从pytorch/pytorch Tags | Docker Hub中获取对应的pytorch版本

二、创建容器 docker run -it --ipc=host -v /data/xh:/data --name xh --runtime=nvidia pytorch/pytorch:1.8.1-cuda11.1-cudnn8-devel bash

其中,

-i允许对容器(container)内的标准输入进行交互

-t 在新容器内指定一个伪终端或者终端,-it一般搭配使用

--ipc=host 容器与宿主主机共享内存

-v: 在主机与容器之间共享数据和配置

/data/xh:/data:表示将宿主机(比如服务器本身)的/data/xh与容器的/data数据共享

--runtime=nvidia: 使用GPU

pytorch/pytorch:   对应-- 镜像的名字:对应的pytorch版本

--name Resnest: 容器命名为 xh

这里没有进行端口映射

三、上传代码以及数据集(这一步可选,可直接跳到4)

这里我是将数据集直接上传服务器下指定的目录,而代码通过pycharm与服务器目录相关联,关联以后在pycharm中修改代码会在服务器端同步更新,前面创建容器时,已经将服务器目录与容器目录相关联。

①数据集上传服务器指定目录

②代码与pycharm关联

输入相应的服务器信息,点击下一步

  

点击下一步 

在4处选择本地项目的目录与服务器对应的目录匹配 

四、容器中安装所需的包

创建完成以后默认直接进入容器,命令行最前面发生变化

1、docker 内pip安装太慢的问题,更换源(目前适用,可能变化,搜索对应的方法即可),直接输入以下命令 pip install -U pip pip config set global.index-url http://mirrors.aliyun.com/pypi/simple pip config set install.trusted-host mirrors.aliyun.com 2、可能出现read time out的问题:

      运行:pip --default-timeout=1000 install -U pip,修改下载设置时间,在重新设置

3、安装对应python依赖包

        numpy、opencv-python等

五、更新容器的apt源,安装opencv-python依赖库

这里是因为安装opencv-python包以后,需要使用到这一步

1、首先更换阿里源,否则下载慢

安装vim,使用别的也可以

apt-get update apt-get install vim

目的是修改sources.list文件

vim /etc/apt/sources.list

在最前面编辑i输入阿里源(目前适用,这里可能随着时间可能变化,搜索相应的方法即可),后面的内容注释掉,否则会访问 http://archive.ubuntu.com/ubuntu

deb-src http://archive.ubuntu.com/ubuntu xenial main restricted #Added by software-properties deb http://mirrors.aliyun.com/ubuntu/ xenial main restricted deb-src http://mirrors.aliyun.com/ubuntu/ xenial main restricted multiverse universe #Added by software-properties deb http://mirrors.aliyun.com/ubuntu/ xenial-updates main restricted deb-src http://mirrors.aliyun.com/ubuntu/ xenial-updates main restricted multiverse universe #Added by software-properties deb http://mirrors.aliyun.com/ubuntu/ xenial universe deb http://mirrors.aliyun.com/ubuntu/ xenial-updates universe deb http://mirrors.aliyun.com/ubuntu/ xenial multiverse deb http://mirrors.aliyun.com/ubuntu/ xenial-updates multiverse deb http://mirrors.aliyun.com/ubuntu/ xenial-backports main restricted universe multiverse deb-src http://mirrors.aliyun.com/ubuntu/ xenial-backports main restricted universe multiverse #Added by software-properties deb http://archive.canonical.com/ubuntu xenial partner deb-src http://archive.canonical.com/ubuntu xenial partner deb http://mirrors.aliyun.com/ubuntu/ xenial-security main restricted deb-src http://mirrors.aliyun.com/ubuntu/ xenial-security main restricted multiverse universe #Added by software-properties deb http://mirrors.aliyun.com/ubuntu/ xenial-security universe deb http://mirrors.aliyun.com/ubuntu/ xenial-security multiverse

依次输入esc→:→wq保存

更新刚才的设置

apt-get update 2、此时如果直接开始训练,会报错,类似如下: ImportError: libSM.so.6: cannot open shared object file: No such file or directory 这里的解决方法有两种:

第一种:

apt-get install python-tk apt-get install python-opencv -y --allow-unauthenticated

第二种:

①安装apt-file

apt-get update apt-get install apt-file apt-file update

②寻找依赖库

apt-file search libSM.so.6

会提示安装libsm6

③安装对应的依赖库

apt-get install libsm6

这个时候运行的话还会报错缺失其他的库,对应安装即可

六、错误记录

(10条消息) 深度学习错误记录_Xhlucky的博客-CSDN博客

docker拉取pytorch/pytorch镜像慢_Xhlucky的博客-CSDN博客



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3