方法 1：配置文件永久设置代理
打开终端。
输入：

bash
sudo nano /etc/apt/apt.conf.d/95proxies  

写入：

conf
Acquire::http::Proxy "http://代理地址:端口/";  
Acquire::https::Proxy "http://代理地址:端口/";  

如果需要用户名和密码：

conf
Acquire::http::Proxy "http://用户名:密码@代理地址:端口/";  

保存退出。按 Ctrl+O，回车，再按 Ctrl+X。
测试：

bash
sudo apt update  

使用 device_map 优化 Transformers 模型的多 GPU 显存分配

在部署大型语言模型（如 Hugging Face Transformers 模型）时，显存管理是优化性能和避免内存溢出的关键。device_map 参数提供了一种灵活的方式，帮助用户在多 GPU 环境下分配模型的不同部分。本文将详细介绍 device_map 的用法、适用场景以及常见参数的作用。

拉取：

docker pull vllm/vllm-openai:latest

启动：

docker run -d --gpus '"device=1,3"' \
    -v ./zizhi_merge_2025-1:/Qwen2-VL-Any \
    -p 7871:8000 \
    --ipc=host \
    --shm-size 16g \
    vllm/vllm-openai:latest \
    --model /Qwen2-VL-Any --gpu_memory_utilization 0.9 --tensor_parallel_size 2

一、NPS 简介

NPS 是一款轻量级的内网穿透工具，支持 TCP/UDP 流量转发、HTTP/HTTPS 协议解析，并具备Web管理界面，便于配置和管理穿透规则。适合个人开发者或小型团队用于远程访问内网设备（如NAS、树莓派）、调试本地Web项目等场景。

用这个在更新的项目更好：https://github.com/yisier/nps/releases

下载：

alias hfd="$PWD/hfd.sh"
hfd Qwen/QwQ-32B --local-dir Qwen/QwQ-32B

docker pull vllm/vllm-openai:latest