CUDA unknown error – this may be due to an incorrectly set up environment 问题解决

前言

今天查看服务器一个使用了pytorch的项目升级后突然出错。报错的全内容由于标题限制,下面我发出来。

builtins.RuntimeError: CUDA unknown error - this may be due to an incorrectly set up environment, e.g. changing env variable CUDA_VISIBLE_DEVICES after program start. Setting the available devices to be zero.

报错截图

后来查阅了一些资料,下面说下几种解决方法。

解决方法

方案1:添加环境变量

由于我是docker容器启动项目,所以进入容器后安装完vim,然后在~/.bashrc最后添加了一下内容。

export CUDA_VISIBLE_DEVICES=0 

由于在构建容器的时候选的显卡编号为0,所以上面我配置的编号为0。

重启容器后检查$ CUDA_VISIBLE_DEVICES输出正常,但是没有解决问题,报错依旧。

方案2:代码添加环境变量

在初始化cuda区域最开始添加一下代码。

import os
os.environ['CUDA_VISIBLE_DEVICES'] =‘0’

还是没有解决问题。

方案3:重启服务器

参考了一些文章,提到了如果系统升级了显卡驱动而没有重启的话,也会导致同样的报错。

所以重启了一下服务器,问题解决

总结

3种方案虽然只有最后一个解决了问题,但是可能因为我的情况特殊。给自己解决过程留个记录,顺便分享一下。

 

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
THE END
分享
二维码
< <上一篇
下一篇>>