# 使用 vllm 部署 Qwen2VL API

## 参考资料：

官方文档：[vllm 部署指南](https://docs.vllm.ai/en/stable/serving/deploying_with_docker.html)





### 使用官方镜像部署：

可以直接使用官网提供的 Docker 镜像，命令如下：

```bash
docker run --runtime nvidia --gpus device=0 \
    -p 8006:8000 \
    --ipc=host \
    -v /root/xiedong/Qwen2-VL-72B-Instruct-GPTQ-Int4:/root/xiedong/Qwen2-VL-72B-Instruct-GPTQ-Int4 \
    vllm/vllm-openai:latest \
    --model /root/xiedong/Qwen2-VL-72B-Instruct-GPTQ-Int4
```

运行后的界面如下图所示：

![image.png](/static/img/415978b944b7affb75d8a63f276f3f6f.image.webp)

### Dockerfile 说明：

Dockerfile 的最后一行是：

```bash
ENTRYPOINT ["python3", "-m", "vllm.entrypoints.openai.api_server"]
```

因此，通过这个命令我们可以直接传入参数 `--model /root/xiedong/Qwen2-VL-72B-Instruct-GPTQ-Int4` 来启动模型。

关于 Dockerfile 的详细逻辑可以参考官方文档：[Dockerfile 说明](https://docs.vllm.ai/en/latest/dev/dockerfile/dockerfile.html)

构建流程图如下：

![image.png](/static/img/396bc2dc57eeeccddb432823d09d31f4.image.webp)

### 自定义编译镜像：

如果你希望自己构建镜像，可以执行以下步骤：

```bash
git clone --branch v0.6.3 --depth 1 https://github.com/vllm-project/vllm.git
cd vllm
docker build -f Dockerfile . --target vllm-openai --tag vllm/vllm-openai
```

官方还提供了多种镜像选择，可以在 [Docker Hub](https://hub.docker.com/r/vllm/vllm-openai/tags) 中查看。

![image.png](/static/img/3fe2cb84565ce8b9a30ed340aeb4f707.image.webp)

## 测试 API 性能：

可以使用以下代码测试 API 的响应速度：

```python
import time
from openai import OpenAI

client = OpenAI(api_key='YOUR_API_KEY', base_url='http://101.136.22.140:8006/v1')
model_name = client.models.list().data[0].id
promptx = r"Describe this image."

# 图片文件列表
image_files = [
    'http://101.136.22.140:8007/demo1024.jpeg',
    'http://101.136.22.140:8007/demo1280.jpeg',
    'http://101.136.22.140:8007/demo256.jpeg',
    'http://101.136.22.140:8007/demo2560.jpeg',
    'http://101.136.22.140:8007/demo512.jpeg',
    'http://101.136.22.140:8007/demo768.jpeg'
]

# 存储每张图片的平均时间
average_times = {}

for image_file in image_files:
    total_time = 0.0
    successful_requests = 0

    for i in range(10):
        start_time = time.time()
        response = client.chat.completions.create(
            model=model_name,
            messages=[{
                'role': 'user',
                'content': [{
                    'type': 'text',
                    'text': promptx,
                }, {
                    'type': 'image_url',
                    'image_url': {
                        'url': image_file,
                    },
                }],
            }],
            temperature=0.8,
            top_p=0.8
        )
        print(response.choices[0].message.content)
        end_time = time.time()

        total_time += (end_time - start_time)
        successful_requests += 1

    average_times[image_file] = total_time / successful_requests
    print(f"{image_file} 的平均时间: {average_times[image_file]:.2f} 秒\n")

# 打印摘要
print("平均时间摘要:")
for image, avg_time in average_times.items():
    if avg_time is not None:
        print(f"{image}: {avg_time:.2f} 秒")
    else:
        print(f"{image}: 所有请求均失败。")
```

## 测试结果分析：

针对不同尺寸的图片，我们测试了不同的 `max_pixels` 设置下的执行时间，结果如下：

### max_pixels 设置 1280\*28\*28

| 图片尺寸（像素） | 尺寸（宽x高）   | 平均执行时间（秒） |
|-----------------|-----------------|------------------|
| 256             | 384 x 256       | 3.69             |
| 512             | 768 x 512       | 3.73             |
| 768             | 1152 x 768      | 5.19             |
| 1024            | 1536 x 1024     | 5.19             |
| 1280            | 1920 x 1280     | 4.79             |
| 2560            | 3840 x 2560     | 6.44             |

### max_pixels 设置 2560\*28\*28

| 图片尺寸（像素） | 尺寸（宽x高）   | 平均执行时间（秒） |
|-----------------|-----------------|------------------|
| 256             | 384 x 256       | 3.69             |
| 512             | 768 x 512       | 4.42             |
| 768             | 1152 x 768      | 4.73             |
| 1024            | 1536 x 1024     | 5.83             |
| 1280            | 1920 x 1280     | 6.12             |
| 2560            | 3840 x 2560     | 6.28             |

### max_pixels 设置 1024\*28\*28



| 图片尺寸（像素） | 尺寸（宽x高）   | 平均执行时间（秒） |
|-----------------|-----------------|------------------|
| 256             | 384 x 256       | 3.65             |
| 512             | 768 x 512       | 3.86             |
| 768             | 1152 x 768      | 4.75             |
| 1024            | 1536 x 1024     | 4.78             |
| 1280            | 1920 x 1280     | 4.55             |
| 2560            | 3840 x 2560     | 5.22             |



## 一些结论

### 显存占用

显存占用约为 60G，如下图所示：

![image.png](/static/img/e43bd49b9c95d880dff163db8558807e.image.webp)

### 版本信息

当前使用的版本为：

```
vllm 0.6.3.post1+cu124
```

## Docker 镜像保存

我已经将该镜像推送到 Docker 仓库，您可以使用以下命令获取该镜像：

```bash
docker pull kevinchina/deeplearning:vllm-openai-0.6.3.post1-cuda124
```

## 优化推理速度

为了提升推理速度，可以修改 `preprocessor_config.json` 文件中的参数。具体步骤如下：

```bash
# 编辑 preprocessor_config.json 文件
vim /path/to/Qwen2-VL-72B-Instruct-GPTQ-Int4/preprocessor_config.json
```

### 原始配置文件内容：

```json
{
  "do_convert_rgb": true,
  "do_normalize": true,
  "do_rescale": true,
  "do_resize": true,
  "image_mean": [
    0.48145466,
    0.4578275,
    0.40821073
  ],
  "image_processor_type": "Qwen2VLImageProcessor",
  "image_std": [
    0.26862954,
    0.26130258,
    0.27577711
  ],
  "max_pixels": 802816,
  "merge_size": 2,
  "min_pixels": 3136,
  "patch_size": 14,
  "processor_class": "Qwen2VLProcessor",
  "resample": 3,
  "rescale_factor": 0.00392156862745098,
  "size": {
    "max_pixels": 1003520,
    "min_pixels": 3136
  },
  "temporal_patch_size": 2,
  "vision_token_id": 151654
}
```

### 参数优化建议：

- `max_pixels` 参数控制图像的最大尺寸。将其值修改为 `1024*28*28=802816` 可以显著提升推理速度，同时保证图像处理效果不受太大影响。

优化后，推理速度会有明显提升。



```bash
docker run --runtime nvidia --gpus device=0 \
    -p 8006:8000 \
    --ipc=host \
    -v /root/xiedong/Qwen2-VL-72B-Instruct-GPTQ-Int4:/Qwen2-VL-Any \
    vllm/vllm-openai:latest \
    --model /Qwen2-VL-Any
```

现在Dockerfile 的最后一行是：

```bash
ENTRYPOINT ["python3", "-m", "vllm.entrypoints.openai.api_server"]
```

## 构建新的控制max_pixels镜像

### 您需要创建一个新的 Dockerfile，并添加自定义的入口脚本。

```bash
FROM kevinchina/deeplearning:vllm-openai-0.6.3.post1-cuda124

# 安装必要的依赖（如果需要）
# 例如，如果您的 Python 脚本需要额外的库，可以在这里安装
# RUN pip install --no-cache-dir <your-required-packages>

# 将自定义的入口脚本复制到镜像中
COPY entrypoint.sh /entrypoint.sh

# 赋予入口脚本可执行权限
RUN chmod +x /entrypoint.sh

EXPOSE 8000

# 设置容器启动时运行的入口脚本
ENTRYPOINT ["/entrypoint.sh"]
```

### 创建入口脚本 entrypoint.sh

set -e 是 Bash 脚本中的一个选项，用于控制脚本的执行行为。具体来说：

作用：当脚本中的任何一个命令以非零状态（即执行失败）退出时，set -e 会导致整个脚本立即退出，而不是继续执行后续的命令。


exec 是一个 Shell 内置命令，用于替换当前的 Shell 进程。具体来说：

作用：exec 后面的命令会取代当前的 Shell 进程，而不是在当前 Shell 中启动一个子进程来执行。这意味着执行 exec 后，原来的 Shell 不再存在，取而代之的是被 exec 执行的命令。
目的：

资源优化：减少进程数量，因为不需要额外的子进程。
信号传递：在 Docker 容器中，使用 exec 启动主应用程序（如 API 服务器）可以确保信号（如 SIGTERM）能够正确传递给该应用程序，便于容器的优雅关闭。


```bash
#!/bin/bash
set -e

# 设置默认值
DEFAULT_MAX_PIXELS=802816

# 获取环境变量中的 MAX_PIXELS，如果未设置则使用默认值
MAX_PIXELS=${MAX_PIXELS:-$DEFAULT_MAX_PIXELS}

# 配置文件路径
CONFIG_FILE=/Qwen2-VL-Any/preprocessor_config.json

# 检查配置文件是否存在
if [ ! -f "$CONFIG_FILE" ]; then
    echo "配置文件 $CONFIG_FILE 不存在！"
    exit 1
fi

# 使用 Python 修改配置文件中的 max_pixels 值
python3 - <<EOF
import json

config_path = "$CONFIG_FILE"

# 读取现有配置
with open(config_path, 'r') as f:
    config = json.load(f)

# 修改 max_pixels 值
config['max_pixels'] = $MAX_PIXELS

# 写回配置文件
with open(config_path, 'w') as f:
    json.dump(config, f, indent=4)

# 打印最终使用的值
print(f"使用的 max_pixels 值: {config['max_pixels']}")
EOF

# 启动 API 服务器
exec python3 -m vllm.entrypoints.openai.api_server --model /Qwen2-VL-Any

```

### 构建自定义 Docker 镜像


```bash
docker build -t kevinchina/deeplearning:vllm-openai-0.6.3.post1-cuda124-api .

```

### 运行 Docker 容器

```bash
docker run -d --runtime nvidia --gpus device=0 \
    -p 8006:8000 \
    --ipc=host \
    -v /root/xiedong/Qwen2-VL-72B-Instruct-GPTQ-Int4:/Qwen2-VL-Any \
    -e MAX_PIXELS=802816 \
    kevinchina/deeplearning:vllm-openai-0.6.3.post1-cuda124-api

```
调试：如果在运行容器时遇到问题，可以使用以下命令启动容器并进入交互式 shell 以进行调试：


```bash
docker run --runtime nvidia --gpus device=0 \
    -p 8006:8000 \
    --ipc=host \
    -v /root/xiedong/Qwen2-VL-72B-Instruct-GPTQ-Int4:/Qwen2-VL-Any \
    -it --entrypoint /bin/bash \
    vllm-custom:latest

```
### push

```bash
docker push kevinchina/deeplearning:vllm-openai-0.6.3.post1-cuda124-api

```

使用vllm部署Qwen2VL API

![image.png](/static/img/8998fea2cf0b096966c54435b74608bb.image.webp)


page_1
前言
1998年，国家教育部在其颁布的《普通高等学校本科专业目录和专业介绍》中，在每个学科专业的毕业生应获得的几个方面的知识和能力的陈述中，都明确提出了这样一项要求：掌握文献检索、资料查询的基本方法，具有初步的科学研究能力和一定的实际工作能力。本教材即是针对我校各个学科的专业设置及学生研究能力的培养，结合我校图书馆的馆藏文献资源及因特网信息资源情况，为选修文献检索课的本科生或研究生而编写。本教材除了第三章2节，第四章2节和第五章3节由林葆编写，第三章4节“二、搜索引擎检索”由韩春华编写，第六章1节由庞蓓编写外，其余章节均由黄日昆编写，全书也由黄日昆统稿。
限于水平，本教材定有误漏，敬请使用者批评指正，以便今后修改完善。
编者
2014年3月





page_3

目 录

第一章 文献概述 ......................................................1

第二章 文献检索原理 ................................................8

第三章 检索系统与检索技术 ......................................22

第四章 检索策略与操作流程 ......................................37

第五章 常用检索系统使用介绍 ..................................47

第六章 文献检索的利用 ..........................................103

主要参考文献 ......................................................135

page_4
抱歉，我无法识别或输出这张图片中的文字内容。

page_5


第一章 文献概述
第一节 文献的基本概念
一、文献的定义
文献是记录有关知识的一切载体（国家标准《文献著录总则》GB/T 3792.1—1983）。具体地说，文献由知识内容、信息符号和载体材料三个不可分割的基本要素构成。知识内容是文献的灵魂，信息符号是用来表示和表达知识信息的标识，如文字、图形、数字、代码、声音、频率、视频等；载体材料是提供记录信息符号的物质，如龟甲兽骨、竹木缣帛、金石泥陶、纸张、胶片胶卷、磁带磁盘、光盘等。
文献具有三项基本功能和三个基本属性。三项基本功能是存贮知识、传播知识和教育娱乐；三个基本属性是知识信息性、人工记录性和客观物质性。
二、文献的级别
文献的级别是指以加工深度不同分的文献类型。一般分为以下三个等级：
1. 一次文献
也称原始文献，是指文献著者记录本人或他人的实践经验和研究结果并获准在公开信息媒体上发表并流通的各种出版类型的文献。如期刊论文、专利说明书、科技报告、会议录、学位论文、技术标准等。一次文献是人们学习参考利用的主要对象，是产生二、三次文献的基础，是文献检索最必要的目标。
2. 二次文献
二次文献是指文献情报信息专业人员根据需要对大量的无序的一次文献进行加工整理和提炼浓缩，然后按照一定的逻辑顺序和科学体系汇编排成为满足人们快速查找文献信息之用的检索系统/检索工具。一次文献汇集的内容不是一次文献的全集，而是一次文献中能被识别的特征和相关检索项。目前，二次文献常见的形式有目录、题录、索引和文摘等，主要功能在于有序化提供一次文献并提供检索。二次文献最重要最有价值的地方在于有规律地指导人们查找一次文献所载的知识内容。因此，二次文献是人们检索文献信息必用的主要工具，也是本课程学习掌握的重要点。
3. 三次文献
三次文献是指根据一次文献提供的线索，选用大量一次文献的内容素材，按照编写目的进行筛选、分析、综合和浓缩后再度出版发行的文献。三次文献主要包括三种类型：一是综述研究类，如专题述评、总结报告、动态综述、未来展望等；二是参考工具类，如年鉴、手册、百科全书、词典、字典、大全集；三是文献指南类，如工具书目录、书目之书目、专科文献指南等。
从一次文献、二次文献到三次文献，是一个由分散到集中、再由集中到有序、由博而精的对知识信息进行不同层次的加工过程。它们各自信息的质量和量是不同的，对予改善人们的知识结构所起到的作用也不同。一次文献是最基本的信息源，二次文献是检索利用的主要对象，三次文献是一次文献群集中提炼和有序化，它是文献信息检索的工具，三次文献是把分散的一次文献、二次文献。


三、文献的载体
文献的载体按物质形式分为以下四种：
1.印刷型
印刷型文献是以纸质材料为载体，以印刷为记录手段而形成的文献形式，是目前整个文献中的主体，也是有着悠久历史的传统文献形式。它的特点是不用需要特殊设备，可以随身携带，随处随时阅读。但存在密度小、体积大、占据空间大、不便于保存。
2.缩微型
缩微型文献是以感光材料为载体，以照相为记录手段而形成的一种文献形式，包括缩微胶卷、缩微平片、缩微卡片等。缩微型文献的优点是体积小、便于收藏和保存，价格便宜等，但阅读需要有较复杂的阅读设备来支持。目前在整个文献中，所占数量较少，在一般的图书馆人藏亦较少。
3.声像型
声像型文献是以磁性和光感性材料为介质记录声音、图像等信息的一种文献形式。其他成员有较取携、可留其声，见其形，易留碑。
4.电子数字型
电子型文献是以计算机处理技术为核心记录信息的一种文献形式。主要是通过编码和程序设计来完成机器可读的文字或机器语言，输入到计算机中，存储在磁带、磁盘、磁碟、光盘上。这种文献承载容量大，检索速度快捷，灵活、使用方便、无时空限制。随着计算机技术、多媒体技术及网络技术的飞速发展，电子数字型文献越来越受到人们的青睐。众多的出版商在出版印刷型文献的同时也出版电子型文献，而图书馆在提供传统借阅服务的同时也开始逐步推出各种类型的电子文献信息服务，电子数字图书馆已成为现实。


下载链接：http://dt2.8tupian.net/2/28880a240b8800.pg3

广西大学-文献检索与利用-pdf-word-书籍

广西大学-文献检索与利用

如何用多模态大模型把PDF文件转为word文件

Rotary Position Embedding（RoPE）在视觉Transformer中的应用与提升

我是一个专注技术分享的博主,尤其爱搞深度学习和单片机电子。你现在看到的是我的个人博客网站。