https://huggingface.co/mPLUG/GUI-Owl-32B/tree/main
https://github.com/X-PLUG/MobileAgent
下载:
bash展开代码apt update && apt install -y aria2
wget https://hf-mirror.com/hfd/hfd.sh
chmod a+x hfd.sh
export HF_ENDPOINT=https://hf-mirror.com
./hfd.sh mPLUG/GUI-Owl-32B
部署:
bash展开代码# 使用vLLM启动
python -m vllm.entrypoints.openai.api_server \
--model /mnt/jfs6/model/GUI-Owl-32B \
--served-model-name ui-tars \
--host 0.0.0.0 \
--port 8000 \
--trust-remote-code \
--max-model-len 8192 \
--gpu-memory-utilization 0.9 \
--tensor-parallel-size 4 --api-key "123"


本文作者:Dong
本文链接:
版权声明:本博客所有文章除特别声明外,均采用 CC BY-NC。本作品采用《知识共享署名-非商业性使用 4.0 国际许可协议》进行许可。您可以在非商业用途下自由转载和修改,但必须注明出处并提供原作者链接。 许可协议。转载请注明出处!