编辑
2024-11-05
深度学习ban
00

该文章已加密,点击 阅读全文 并输入密码后方可查看。

编辑
2024-11-05
Docker
00

直接从 Docker Hub 拉取:

bash
docker pull openmmlab/lmdeploy:latest
编辑
2024-11-05
Python
00
编辑
2024-11-04
深度学习
00

运行:

bash
docker run --runtime nvidia --gpus all \ -v /data/xiedong/Qwen2.5-72B-Instruct-GPTQ-Int4:/data/xiedong/Qwen2.5-72B-Instruct-GPTQ-Int4 \ -p 8000:8000 \ --ipc=host \ vllm/vllm-openai:latest \ --model /data/xiedong/Qwen2.5-72B-Instruct-GPTQ-Int4

后台执行:

bash
docker run -d --runtime nvidia --gpus device=7 \ -v /data/xiedong/Qwen2.5-72B-Instruct-GPTQ-Int4:/data/xiedong/Qwen2.5-72B-Instruct-GPTQ-Int4 \ -p 8000:8000 \ --ipc=host \ vllm/vllm-openai:latest \ --model /data/xiedong/Qwen2.5-72B-Instruct-GPTQ-Int4
编辑
2024-11-04
深度学习ban
00

该文章已加密,点击 阅读全文 并输入密码后方可查看。