项目概述

本项目旨在构建一个基于InternVL2-40B模型的多模态API服务。该服务使用Docker环境，利用lmdeploy库进行模型部署，并通过API接口接收图像和文本输入，生成描述性文本输出。

环境准备

相关资源链接

• 项目模型地址
• lmdeploy文档
• Dockerfile
• 所有InternVL2模型

文献是记录有（ ）和( )的一切载体【多选】

按照国际标准，“文献”的定义是“记录有知识和信息的一切载体”，按载体说，包括纸草文献、泥板文献、甲骨文献、金文文献、石刻文献、简牍文献、纸质文献、音像文献、机读文献等。

该文章已加密，点击 阅读全文 并输入密码后方可查看。

• Qwen2-VL GitHub项目：Qwen2-VL
• Qwen2-VL-7B-Instruct Hugging Face模型仓库：Qwen2-VL-7B-Instruct

vllm 的 api方式 【显存占用有问题】

启动镜像并安装必要环境

首先，使用以下命令启动 Docker 镜像，并挂载指定目录到容器中：

bash
docker run --gpus all -it --shm-size 16G --rm -v /root/xiedong/Qwen2-VL-7B-Instruct:/Qwen2-VL-7B-Instruct --net host qwenllm/qwenvl:2-cu121 bash

接下来，在容器内安装必要的依赖包：

bash
pip install git+https://github.com/huggingface/transformers@21fac7abba2a37fae86106f87fcf9974fd1e3830
pip install accelerate
pip install -U qwen-vl-utils

# 根据你的 CUDA 版本安装 vllm
CUDA_VERSION=cu121
pip install 'vllm==0.6.1' --extra-index-url https://download.pytorch.org/whl/${CUDA_VERSION}