运行：

bash
展开代码
docker run --runtime nvidia --gpus all \
    -v /data/xiedong/Qwen2.5-72B-Instruct-GPTQ-Int4:/data/xiedong/Qwen2.5-72B-Instruct-GPTQ-Int4 \
    -p 8000:8000 \
    --ipc=host \
    vllm/vllm-openai:latest \
    --model /data/xiedong/Qwen2.5-72B-Instruct-GPTQ-Int4

后台执行：

bash
展开代码
docker run -d --runtime nvidia --gpus device=7 \
    -v /data/xiedong/Qwen2.5-72B-Instruct-GPTQ-Int4:/data/xiedong/Qwen2.5-72B-Instruct-GPTQ-Int4 \
    -p 8000:8000 \
    --ipc=host \
    vllm/vllm-openai:latest \
    --model /data/xiedong/Qwen2.5-72B-Instruct-GPTQ-Int4

该文章已加密，点击 阅读全文 并输入密码后方可查看。

该文章已加密，点击 阅读全文 并输入密码后方可查看。

该文章已加密，点击 阅读全文 并输入密码后方可查看。

NanoFlow项目地址： https://arxiv.org/abs/2408.12757

有个讨论，Qwen2.5和Llama 3.1 70b，用 NanoFlow 部署一下Llama 3.1 70b看看。

该文章已加密，点击 阅读全文 并输入密码后方可查看。

有时候版本不对咋调都不对，直接用requests ：

该文章已加密，点击 阅读全文 并输入密码后方可查看。

数据准备详解：LLaMA-Factory

https://llamafactory.readthedocs.io/zh-cn/latest/getting_started/data_preparation.html

在构建和优化大型语言模型的过程中，数据集的质量和格式至关重要。本文将详细介绍如何准备符合要求的数据集，包括数据格式、内容要求以及在 dataset_info.json 中的配置方法。

该文章已加密，点击 阅读全文 并输入密码后方可查看。