首页 > 脚本专栏 > python > Pytorch Conda环境下载慢

Pytorch Conda环境下载慢换源/删源/恢复默认源的简单操作

2024-07-14 11:30:18 作者：Loi_Chairman

随着实验增多,需要分割创建环境的情况时有出现,在此情况下使用conda create --name xx python=3.10 pytorch torchvision pytorch-cuda -c nvidia -c pytorch -y这样的指令创建时如果不换源,往往下载速度很慢,本文介绍了解决办法,需要的朋友可以参考下

背景

随着实验增多，需要分割创建环境的情况时有出现，在此情况下使用conda create --name xx python=3.10 pytorch torchvision pytorch-cuda -c nvidia -c pytorch -y这样的指令创建时如果不换源，往往下载速度很慢，甚至于报错CondaHTTPError: HTTP 000 CONNECTION FAILED for url之类的情况

这种创建环境太慢可能是镜像源地址的问题，可以切换到国内的镜像源地址试试，具体就是修改一下conda的配置文件。

在linux和window环境下通用，当然也强推vscode的wsl去直接对linux中文件简单操作完成修改

临时换源

比如pip某个包而不是新建一个环境时候，完全可以临时换源，例如

pip install tqdm -i https://pypi.tuna.tsinghua.edu.cn/simple

乃至于某个环境，比如完备的github开源项目，存在setup.py和run.py，只需要对着已经设置好的requirements.txt修改的时候，也一样可以

pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

永久换源

打开conda配置condarc

window情况

C:\Users.condarc（没有就创建一个）

在这里插入图片描述

右键选择在记事本中编辑

linux情况

gedit ~/.condarc 或者用wsl直接找到home→用户名→文件夹下就是用户环境默认配置

在这里插入图片描述

同样右键选择在记事本中/vim打开编辑

换源

在打开的文档中粘贴以下内容

如果想阿里云（版本不容易冲突，但不知道为什么下载慢

channels:
  - defaults
show_channel_urls: true
default_channels:
  - http://mirrors.aliyun.com/anaconda/pkgs/main
  - http://mirrors.aliyun.com/anaconda/pkgs/r
  - http://mirrors.aliyun.com/anaconda/pkgs/msys2
  - 
custom_channels:
  conda-forge: http://mirrors.aliyun.com/anaconda/cloud
  msys2: http://mirrors.aliyun.com/anaconda/cloud
  bioconda: http://mirrors.aliyun.com/anaconda/cloud
  menpo: http://mirrors.aliyun.com/anaconda/cloud
  pytorch: http://mirrors.aliyun.com/anaconda/cloud
  simpleitk: http://mirrors.aliyun.com/anaconda/cloud

如果想腾讯云（下载速度快！有些包比阿里云上要快个四五倍，但可能在GPU机器上下载到CPU版本的torch很难绷

channels:
  - defaults
show_channel_urls: true
channel_alias: http://mirrors.tuna.tsinghua.edu.cn/anaconda
default_channels:
  - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
  - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/pro
  - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
  - 
custom_channels:
  conda-forge: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  msys2: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  bioconda: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  menpo: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  simpleitk: http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

执行配置

在Windows下修改完毕可以打开Anaconda Prompt，在命令行输入执行

conda config --set show_channel_urls yes

在linux中修改完毕可以ctrl+~（tab上边那和）来打开终端执行修改

source ~/.bashrc

命令行修改源

添加源

pip config set global.index-url --site https://pypi.tuna.tsinghua.edu.cn/simple

查看源

pip config list

删源

有时候可能存在源冲突情况需要删除掉配置过的某个源

删除源

pip config unset global.index-url

改Python源

export PATH="/home/xx/anaconda3/bin:$PATH"
 source ~/anaconda3/bin/activate #修改终端的默认 python 为 anaconda

恢复默认源

如果搞了半天出问题，比如某些特殊的库在清华源阿里源都没有的话
返回到默认源慢慢下载或许反而能正常使用

conda config --remove-key channels

使用示范

针对类似于 conda create --name VLM python=3.10 pytorch torchvision pytorch-cuda -c nvidia -c pytorch -y 创建新环境情况
添加镜像后，在conda下载安装pytorch时（conda install pytorch torchvision cudatoolkit=10.2 -c pytorch）去掉 -c pytorch，执行conda install pytorch torchvision cudatoolkit=10.2 ，否则还是会很慢。

添加镜像后下载若还是出现错误，可以sudo gedit ~/.condarc 查看是否有一项default，将default一行删除，保存.condarc文件并关闭，再次尝试下载安装。

以上就是Pytorch Conda环境下载慢换源/删源/恢复默认源的简单操作的详细内容，更多关于Pytorch Conda环境下载慢的资料请关注脚本之家其它相关文章！