docker配置pytorch环境来进行训练的方法步骤
作者：GY—Monkey
一、虚拟环境anaconda的下载与安装（换源）
进入到虚拟环境
docker exec -it ID
新建一个文件夹保存下载的文件
mkdir download
通过使用wget来下载anacodna安装包，建议使用清华镜像下载
官网下载：
wget https://repo.anaconda.com/archive/Anaconda3-2023.07-2-Linux-x86_64.sh
镜像下载：
wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2023.07-1-Linux-x86_64.sh
本地宿主机复制到容器中（修改路径即可）
docker cp /path/to/local/file container_id:/path/in/container/
安装应用
bash Anaconda3-2023.07-1-Linux-x86_64.sh
按照流程进行安装
确认协议和默认安装路径即可
二、给系统的pip和conda换源
安装新系统的第一件事情就是换源，加快下载速度
1.pip换源
docker中安装pip
apt-get update apt-get install -y python3-pip
验证安装的结果
pip3 --version
/root/目录下创建 .pip 文件夹与 pip.conf 文件
mkdir .pip vim .pip/pip.conf
## 添加如下内容，设置pip源为阿里云源 [global] index-url = https://mirrors.aliyun.com/pypi/simple/ [install] trusted-host=mirrors.aliyun.com ## :wq!保存退出即可
2.conda换源（不建议阿里源）
命令行换源：
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2 conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/ conda config --set show_channel_urls yes
修改文件方式： .condarc
channels: - defaults show_channel_urls: true default_channels: - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2 custom_channels: conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud pytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud deepmodeling: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/ auto_activate_base: false
三、安装pytorch
进入pytorch的官方网站
找到对应的版本进行安装
https://pytorch.org/get-started/previous-versions/
训练过程中遇到的问题
1、虚拟共享内存不够
报错：ERROR: Unexpected bus error encountered in worker. This might be caused by insufficient shared memor
通过df -h查看shm的大小
可见容器默认的shared memory只有64MB。但训练程序中，data_loader设置的workers数目比较多，该程序中为8，这些workers通过共享内存进行协作，导致默认的共享内存不够用。
解决方法：
基于以上原因，解决方法可从两个方面入手：
将workers数量降低，例如设置num_workers=0；
将容器的共享内存加大，由上面英文提示，可通过–ipc=host或–shm-size进行设置。
这里，我选择的是第二种方式，加大容器的共享内存：
docker run ... --shm-size 8G ...
2、数据集的加载路径
建议使用绝对的路径，相对路径在容器中可能会报错
3、报错内容：ImportError: libGL.so.1: cannot open shared object file: No such file or directory。
这通常是因为你的系统缺少该库，它是 OpenGL 的一部分，许多图形相关的应用程序和库都需要它。
解决方法，安装相应的库文件
apt-get update && apt-get install libgl1
4、报错内容：ImportError: libgthread-2.0.so.0: cannot open shared object file: No such file or directory
解决方法：
sudo apt-get install libglib2.0-0
到此这篇关于docker配置pytorch环境来进行训练的方法步骤的文章就介绍到这了,更多相关docker配置pytorch内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！