2024-10-21
深度学习
00

安装vllm并部署Qwen2VL API 重新打包CUDA12.1支持镜像

在之前的文章中

https://www.dong-blog.fun/post/1779

使用了官方提供的CUDA 12.4镜像。为了支持CUDA 12.1,我重新打包了一个镜像。以下是具体步骤。

1. 使用基础镜像并运行容器

首先,基于 pytorch/pytorch:2.4.0-cuda12.1-cudnn9-devel 镜像启动容器:

bash
docker run --rm --net host -it --gpus all --shm-size 16g -v /root/xiedong:/root/xiedong pytorch/pytorch:2.4.0-cuda12.1-cudnn9-devel bash
2024-10-21
深度学习
00

为了让镜像在cuda12.1.0编译,只能自己build一个镜像了。官方的现在的cuda12.4镜像。如果自己显卡的驱动不高,是无法支持cuda12.4的。

2024-10-18
深度学习
00

使用 vllm 部署 Qwen2VL API

参考资料:

官方文档:vllm 部署指南

2024-10-18
课程学习
00

image.png

page_1 前言 1998年,国家教育部在其颁布的《普通高等学校本科专业目录和专业介绍》中,在每个学科专业的毕业生应获得的几个方面的知识和能力的陈述中,都明确提出了这样一项要求:掌握文献检索、资料查询的基本方法,具有初步的科学研究能力和一定的实际工作能力。本教材即是针对我校各个学科的专业设置及学生研究能力的培养,结合我校图书馆的馆藏文献资源及因特网信息资源情况,为选修文献检索课的本科生或研究生而编写。本教材除了第三章2节,第四章2节和第五章3节由林葆编写,第三章4节“二、搜索引擎检索”由韩春华编写,第六章1节由庞蓓编写外,其余章节均由黄日昆编写,全书也由黄日昆统稿。 限于水平,本教材定有误漏,敬请使用者批评指正,以便今后修改完善。 编者 2014年3月

2024-10-18
课程学习
00

该文章已加密,点击 阅读全文 并输入密码后方可查看。