下载:
alias hfd="$PWD/hfd.sh" hfd Qwen/QwQ-32B --local-dir Qwen/QwQ-32B docker pull vllm/vllm-openai:latest
nps的服务端有这两个参数:
http_proxy_port
和 https_proxy_port
的作用
• http_proxy_port=80
:表示 NPS 服务端会监听 80
端口,用于接收来自公网的 HTTP 请求(非加密流量)。
• https_proxy_port=443
:表示 NPS 服务端会监听 443
端口,用于接收来自公网的 HTTPS 请求(加密流量)。
• 这两个配置是 NPS 的 域名代理(Domain Proxy) 功能的核心。当你的请求通过域名访问 NPS 服务端的 80
或 443
端口时,NPS 会根据域名将请求转发到对应的内网服务。
域名代理 vs 普通端口转发
• 普通端口转发:直接将某个端口的流量转发到内网端口(例如将 NPS服务端:80
→ 内网客户端:80
)。
• 域名代理:通过域名区分不同的内网服务。例如:
◦ 访问 a.your-domain.com:80
→ 转发到 内网客户端A:80
◦ 访问 b.your-domain.com:80
→ 转发到 内网客户端B:80
这种方式可以复用同一个端口(如 80
或 443
),根据域名分发到不同内网服务。
参考资料:https://llamafactory.readthedocs.io/zh-cn/latest/advanced/distributed.html
以训练qwen2.5vl 7b 为例子。