项目概述

本项目旨在构建一个基于InternVL2-40B模型的多模态API服务。该服务使用Docker环境，利用lmdeploy库进行模型部署，并通过API接口接收图像和文本输入，生成描述性文本输出。

环境准备

相关资源链接

• 项目模型地址
• lmdeploy文档
• Dockerfile
• 所有InternVL2模型

文献是记录有（ ）和( )的一切载体【多选】

按照国际标准，“文献”的定义是“记录有知识和信息的一切载体”，按载体说，包括纸草文献、泥板文献、甲骨文献、金文文献、石刻文献、简牍文献、纸质文献、音像文献、机读文献等。

该文章已加密，点击 阅读全文 并输入密码后方可查看。

• Qwen2-VL GitHub项目：Qwen2-VL
• Qwen2-VL-7B-Instruct Hugging Face模型仓库：Qwen2-VL-7B-Instruct

vllm 的 api方式 【显存占用有问题】

启动镜像并安装必要环境

首先，使用以下命令启动 Docker 镜像，并挂载指定目录到容器中：

bash
docker run --gpus all -it --shm-size 16G --rm -v /root/xiedong/Qwen2-VL-7B-Instruct:/Qwen2-VL-7B-Instruct --net host qwenllm/qwenvl:2-cu121 bash

接下来，在容器内安装必要的依赖包：

bash
pip install git+https://github.com/huggingface/transformers@21fac7abba2a37fae86106f87fcf9974fd1e3830
pip install accelerate
pip install -U qwen-vl-utils

# 根据你的 CUDA 版本安装 vllm
CUDA_VERSION=cu121
pip install 'vllm==0.6.1' --extra-index-url https://download.pytorch.org/whl/${CUDA_VERSION}

如何在 Linux 上使用 Python 快速搭建 HTTP 服务来共享图片

在许多开发和数据处理场景中，快速共享文件，尤其是图片文件，是一项重要的需求。本文将介绍如何在 Linux 系统上使用 Python 的内置库快速搭建一个 HTTP 服务，以便其他服务器或客户端可以通过 URL 访问和下载指定目录中的图片。

为什么选择 Python 的 HTTP 服务？

Python 是一种简单易学且功能强大的编程语言，其内置的 http.server 模块可以帮助我们轻松创建一个 HTTP 服务器。与其他复杂的网络框架相比，http.server 提供了一个快速的解决方案，适合需要临时文件共享或开发测试的场景。