Windows搭建CUDA大模型Docker环境

一、安装Docker

• windows中docker安装教程

二、拉取镜像

• 系统：Ubuntu20.04
• CUDA版本：11.8.0

docker pull nvcr.io/nvidia/cuda:11.8.0-cudnn8-devel-ubuntu20.04

三、启动容器

docker run --gpus=all -it --name llm_env -p 8080:8000 nvcr.io/nvidia/cuda:11.8.0-cudnn8-devel-ubuntu20.04

四、安装依赖环境

apt-get update -yq --fix-missing
DEBIAN_FRONTEND=noninteractive
apt-get install -yq --no-install-recommends pkg-config wget cmake curl git vim

五、安装Miniconda3

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
sh Miniconda3-latest-Linux-x86_64.sh -b -u -p ~/miniconda3
~/miniconda3/bin/conda init
source ~/.bashrc

六、设置pip源地址

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple