wsl2记录
Published:
wsl2中使用docker运行cuda加持下的模型
在本地(wsl2)使用模型的时候因为已经装好了cuda驱动，所以推理较快，但是在docker环境下由于没有安装对应的驱动 nvidia-docker ，导致模型跑在cpu上非常慢。
其实想要在docker中运行cuda只需要在 docker run 命令中加入 –gpus 参数即可，但如果没有安装对应的 NVIDIA Container Toolkit 加这个参数也会显示无法识别cuda。
实际上我们只需要在终端输入以下命令，该命令是为了设置package存储库和 GPG 密钥
distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \
&& curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
&& curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
然后输入
sudo apt-get update
sudo apt-get install -y nvidia-docker2
参考
https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/install-guide.html#installation-guide
https://learn.microsoft.com/zh-cn/windows/wsl/tutorials/gpu-compute