在Ubuntu中卸载现有的NVIDIA驱动并安装指定的驱动文件,可以按照以下步骤操作:
首先,确保没有程序正在使用NVIDIA显卡驱动,推荐在纯文本模式下进行操作:
bashdocker run -d --gpus device=3 \ -v /data/xiedong/LLaMA-Factory/output/checkpoint-20600:/data/xiedong/LLaMA-Factory/output/checkpoint-20600 \ -p 8005:8000 \ --ipc=host \ dockerpull.org/vllm/vllm-openai:latest \ --model /data/xiedong/LLaMA-Factory/output/checkpoint-20600 --gpu_memory_utilization=0.4