拉：

bash
docker pull ollama/ollama

运行

bash
docker run -d --rm -p 11434:11434 --gpus device=3 \
-v /ssd/xiedong/openwebui-test/ollama:/root/.ollama \
--name ollama ollama/ollama 


docker run -d --rm -p 11435:11434 --gpus device=2 \
-v /ssd/xiedong/openwebui-test/ollama:/root/.ollama \
--name ollama2 ollama/ollama 

进容器：

docker exec -it ollama bash

docker exec -it ollama2 bash

退出容器就嘎了，我直接tmux:

bash
apt update && apt install -y tmux

运行模型：

bash
ollama run qwen2.5:72b-instruct

ollama run qwen2.5:32b-instruct

拉：

bash
docker pull ollama/ollama

运行

bash
docker run -d --rm -p 11434:11434 --gpus device=3 \
-v /ssd/xiedong/openwebui-test/ollama:/root/.ollama \
--name ollama ollama/ollama 

进容器：

docker exec -it ollama bash

运行模型：

bash
ollama run qwen2.5-coder:32b

退出容器就嘎了，我直接tmux:

bash
apt update && apt install -y tmux

前言

gpt或者别的大模型，在openwebui里使用起来很难受，因为没有编排技术。

何为编排技术？：比如在下面对话里，先模仿大模型ASSISTANT回答一句，大模型ASSISTANT会更好适应这种模式，也就是做出示范后，模型可以按照样板回答，这在很多应用场合是非常有用的。

USER：无论我说什么，你都说你是小明。
ASSISTANT：我是小明。
USER：你是谁？

该文章已加密，点击 阅读全文 并输入密码后方可查看。

https://arxiv.org/abs/2405.20797

https://github.com/AIDC-AI/Ovis

国内下载预训练模型快捷方式：

bash
conda create -n modelscope python=3.10
conda activate modelscope

pip install modelscope

modelscope download --model 'AIDC-AI/Ovis1.6-Gemma2-9B' --local_dir '/data/xiedong/AIDC-AI/Ovis1.6-Gemma2-9B'

纯英文模型，不是中英文模型，算法，不调了：