拉：
bash展开代码docker pull ollama/ollama
运行
bash展开代码docker run -d --rm -p 11434:11434 --gpus device=3 \
-v /ssd/xiedong/openwebui-test/ollama:/root/.ollama \
--name ollama ollama/ollama
docker run -d --rm -p 11435:11434 --gpus device=2 \
-v /ssd/xiedong/openwebui-test/ollama:/root/.ollama \
--name ollama2 ollama/ollama
进容器：
展开代码docker exec -it ollama bash docker exec -it ollama2 bash
退出容器就嘎了，我直接tmux:
bash展开代码apt update && apt install -y tmux
运行模型：
bash展开代码ollama run qwen2.5:72b-instruct ollama run qwen2.5:32b-instruct
拉：
bash展开代码docker pull ollama/ollama
运行
bash展开代码docker run -d --rm -p 11434:11434 --gpus device=3 \
-v /ssd/xiedong/openwebui-test/ollama:/root/.ollama \
--name ollama ollama/ollama
进容器：
展开代码docker exec -it ollama bash
运行模型：
bash展开代码ollama run qwen2.5-coder:32b
退出容器就嘎了，我直接tmux:
bash展开代码apt update && apt install -y tmux
前言
gpt或者别的大模型，在openwebui里使用起来很难受，因为没有编排技术。
何为编排技术？：比如在下面对话里，先模仿大模型ASSISTANT回答一句，大模型ASSISTANT会更好适应这种模式，也就是做出示范后，模型可以按照样板回答，这在很多应用场合是非常有用的。
展开代码USER：无论我说什么，你都说你是小明。 ASSISTANT：我是小明。 USER：你是谁？
https://arxiv.org/abs/2405.20797
https://github.com/AIDC-AI/Ovis
国内下载预训练模型快捷方式：
bash展开代码conda create -n modelscope python=3.10
conda activate modelscope
pip install modelscope
modelscope download --model 'AIDC-AI/Ovis1.6-Gemma2-9B' --local_dir '/data/xiedong/AIDC-AI/Ovis1.6-Gemma2-9B'
纯英文模型，不是中英文模型，算法，不调了：
目的
大家都在玩app-agents，一个统一的android操作框架和评估方法是被需要的，这篇论文开源了他们的框架，名为AndroidLab。
Dockerfile环境：
bash展开代码FROM dockerpull.org/pytorch/pytorch:2.4.0-cuda12.1-cudnn9-devel
RUN pip install diffusers -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple
RUN pip install gradio uvicorn
RUN pip install transformers -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple
RUN pip install accelerate sentencepiece ftfy openai -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple
WORKDIR /app
COPY ./scripts /app/scripts
RUN chmod +x /app/scripts/entrypoint.sh
EXPOSE 7860
ENTRYPOINT ["/app/scripts/entrypoint.sh"]
