部署：

bash
展开代码
# 使用vLLM启动
python -m vllm.entrypoints.openai.api_server \
    --model /mnt/jfs6/model/UI-TARS-72B-DPO \
    --served-model-name ui-tars \
    --host 0.0.0.0 \
    --port 8000 \
    --trust-remote-code \
    --max-model-len 8192 \
    --gpu-memory-utilization 0.9 \
    --tensor-parallel-size 8