运行镜像

首先，启动容器，加载相应的深度学习镜像。可以通过以下命令来运行带有GPU支持的 Docker 容器：

bash
docker run -it --rm --gpus=all \
    -v /root/xiedong/:/xiedong/ \
    --net host \
    --shm-size 16G \
    --name llamafactory4 \
    kevinchina/deeplearning:llamafactory20240911 bash

安装依赖包

进入容器后，使用 pip 安装必要的 Python 包：

bash
pip install transformers==4.45.0
pip install qwen-vl-utils

pip cache purge

推行新的镜像

bash
docker push kevinchina/deeplearning:llamafactory20240926

修改配置文件

接下来，修改容器内的配置文件来设定模型路径与微调参数。使用 vim 编辑以下配置文件：

bash
vim examples/inference/sft_xd_seal.yaml

在该文件中，调整如下配置：

yaml
model_name_or_path: /xiedong/Qwen2-VL-7B-Instruct
# adapter_name_or_path: output/saves/qwen2_vl-7b/lora/sft_xd
template: qwen2_vl
finetuning_type: lora

启动 OpenAPI 接口服务

编辑完配置后，启动 OpenAPI 接口服务，使用以下命令：

bash
llamafactory-cli api examples/inference/sft_xd_seal.yaml

服务启动后，您可以通过接口调用来查看文档，或参考类似的教程 lmdeploy 文档 获取更多细节。

Python 环境准备

确保在环境中安装了 openai 包，用于与 API 进行交互：

bash
pip install openai

API 调用示例

以下是一个调用 OpenAI API 进行多模态推理的示例代码：

python
from openai import OpenAI

client = OpenAI(api_key='YOUR_API_KEY', base_url='http://101.136.22.140:8000/v1')
model_name = client.models.list().data[0].id

response = client.chat.completions.create(
    model=model_name,
    messages=[{
        'role': 'user',
        'content': [{
            'type': 'text',
            'text': 'Describe the image please',
        }, {
            'type': 'image_url',
            'image_url': {
                'url': 'https://raw.githubusercontent.com/open-mmlab/mmdeploy/main/tests/data/tiger.jpeg',
            },
        }],
    }],
    temperature=0.8,
    top_p=0.8
)

print(response)
# 打印返回的内容字符串
print(response.choices[0].message.content)