bash
docker run -d --gpus device=3 \
    -v /data/xiedong/LLaMA-Factory/output/checkpoint-20600:/data/xiedong/LLaMA-Factory/output/checkpoint-20600 \
    -p 8005:8000 \
    --ipc=host \
    dockerpull.org/vllm/vllm-openai:latest \
    --model /data/xiedong/LLaMA-Factory/output/checkpoint-20600 --gpu_memory_utilization=0.4 

该文章已加密，点击 阅读全文 并输入密码后方可查看。

bash

帮我优化我的博客语言表达，不允许删除我写的内容，只能改进语言表达和顺序结构。

modelscope下载模型：

bash
conda create -n modelscop