安装vllm并部署Qwen2VL API 重新打包CUDA12.1支持镜像
在之前的文章中
https://www.dong-blog.fun/post/1779
使用了官方提供的CUDA 12.4镜像。为了支持CUDA 12.1,我重新打包了一个镜像。以下是具体步骤。
首先,基于 pytorch/pytorch:2.4.0-cuda12.1-cudnn9-devel
镜像启动容器:
bashdocker run --rm --net host -it --gpus all --shm-size 16g -v /root/xiedong:/root/xiedong pytorch/pytorch:2.4.0-cuda12.1-cudnn9-devel bash
为了让镜像在cuda12.1.0编译,只能自己build一个镜像了。官方的现在的cuda12.4镜像。如果自己显卡的驱动不高,是无法支持cuda12.4的。
page_1 前言 1998年,国家教育部在其颁布的《普通高等学校本科专业目录和专业介绍》中,在每个学科专业的毕业生应获得的几个方面的知识和能力的陈述中,都明确提出了这样一项要求:掌握文献检索、资料查询的基本方法,具有初步的科学研究能力和一定的实际工作能力。本教材即是针对我校各个学科的专业设置及学生研究能力的培养,结合我校图书馆的馆藏文献资源及因特网信息资源情况,为选修文献检索课的本科生或研究生而编写。本教材除了第三章2节,第四章2节和第五章3节由林葆编写,第三章4节“二、搜索引擎检索”由韩春华编写,第六章1节由庞蓓编写外,其余章节均由黄日昆编写,全书也由黄日昆统稿。 限于水平,本教材定有误漏,敬请使用者批评指正,以便今后修改完善。 编者 2014年3月