2024-11-13
深度学习
00

拉:

bash
docker pull ollama/ollama

运行

bash
docker run -d --rm -p 11434:11434 --gpus device=3 \ -v /ssd/xiedong/openwebui-test/ollama:/root/.ollama \ --name ollama ollama/ollama

进容器:

docker exec -it ollama bash

运行模型:

bash
ollama run qwen2.5-coder:32b

退出容器就嘎了,我直接tmux:

bash
apt update && apt install -y tmux
如果对你有用的话,可以打赏哦
打赏
ali pay
wechat pay

本文作者:Dong

本文链接:

版权声明:本博客所有文章除特别声明外,均采用 CC BY-NC。本作品采用《知识共享署名-非商业性使用 4.0 国际许可协议》进行许可。您可以在非商业用途下自由转载和修改,但必须注明出处并提供原作者链接。 许可协议。转载请注明出处!