为了让镜像在cuda12.1.0编译，只能自己build一个镜像了。官方的现在的cuda12.4镜像。如果自己显卡的驱动不高，是无法支持cuda12.4的。

拉代码：

bash
git clone --branch v0.6.3 --depth 1 https://github.com/vllm-project/vllm.git
cd vllm

Dockerfile开头改为这样，Dockerfile后面内容里的的12.4.1全部改为12.1.0

bash

ARG CUDA_VERSION=12.1.0
#################### BASE BUILD IMAGE ####################
# prepare basic build environment
FROM nvidia/cuda:${CUDA_VERSION}-devel-ubuntu20.04 AS base
ARG CUDA_VERSION=12.1.0
ARG PYTHON_VERSION=3.12
ENV DEBIAN_FRONTEND=noninteractive

打开魔法，然后进行build：

bash
DOCKER_BUILDKIT=1 docker build . --network=host --build-arg http_proxy=http://127.0.0.1:7890 --build-arg https_proxy=http://127.0.0.1:7890 --target vllm-openai --tag vllm/vllm-openai # optionally specifies: --build-arg max_jobs=32 --build-arg nvcc_threads=16

docker魔法的一些方法

https://www.dong-blog.fun/post/1657

编译过程很慢，耐心等待：