服务：

bash
展开代码
python -m vllm.entrypoints.openai.api_server \
--model /mnt/jfs6/model/Meta-Llama-3-70B-Instruct-abliterated-v3.5 \
--gpu_memory_utilization 0.9 \
--data-parallel-size 1 \
--tensor_parallel_size 8 \
--served-model-name gpt \
--port 8000

请求：

bash
展开代码