云端设置

建立TCP隧道：

Cloudflare管理的域名，什么时候要配证书？什么时候不用配？

用Cloudflare管理域名，配不配证书，得看你怎么用Cloudflare。关键看两点：

1. 有没有开CDN代理。
2. 选什么SSL模式。

方法 1：配置文件永久设置代理
打开终端。
输入：

bash
sudo nano /etc/apt/apt.conf.d/95proxies  

写入：

conf
Acquire::http::Proxy "http://代理地址:端口/";  
Acquire::https::Proxy "http://代理地址:端口/";  

如果需要用户名和密码：

conf
Acquire::http::Proxy "http://用户名:密码@代理地址:端口/";  

保存退出。按 Ctrl+O，回车，再按 Ctrl+X。
测试：

bash
sudo apt update  

使用 device_map 优化 Transformers 模型的多 GPU 显存分配

在部署大型语言模型（如 Hugging Face Transformers 模型）时，显存管理是优化性能和避免内存溢出的关键。device_map 参数提供了一种灵活的方式，帮助用户在多 GPU 环境下分配模型的不同部分。本文将详细介绍 device_map 的用法、适用场景以及常见参数的作用。

拉取：

docker pull vllm/vllm-openai:latest

启动：

docker run -d --gpus '"device=1,3"' \
    -v ./zizhi_merge_2025-1:/Qwen2-VL-Any \
    -p 7871:8000 \
    --ipc=host \
    --shm-size 16g \
    vllm/vllm-openai:latest \
    --model /Qwen2-VL-Any --gpu_memory_utilization 0.9 --tensor_parallel_size 2