编辑
2024-11-14
工具使用
00

win+R,输入regedit,如图:

image.png

编辑
2024-11-13
深度学习
00

拉:

bash
docker pull ollama/ollama

运行

bash
docker run -d --rm -p 11434:11434 --gpus device=3 \ -v /ssd/xiedong/openwebui-test/ollama:/root/.ollama \ --name ollama ollama/ollama docker run -d --rm -p 11435:11434 --gpus device=2 \ -v /ssd/xiedong/openwebui-test/ollama:/root/.ollama \ --name ollama2 ollama/ollama

进容器:

docker exec -it ollama bash docker exec -it ollama2 bash

退出容器就嘎了,我直接tmux:

bash
apt update && apt install -y tmux

运行模型:

bash
ollama run qwen2.5:72b-instruct ollama run qwen2.5:32b-instruct
编辑
2024-11-13
深度学习
00

拉:

bash
docker pull ollama/ollama

运行

bash
docker run -d --rm -p 11434:11434 --gpus device=3 \ -v /ssd/xiedong/openwebui-test/ollama:/root/.ollama \ --name ollama ollama/ollama

进容器:

docker exec -it ollama bash

运行模型:

bash
ollama run qwen2.5-coder:32b

退出容器就嘎了,我直接tmux:

bash
apt update && apt install -y tmux
编辑
2024-11-13
深度学习
00

前言

gpt或者别的大模型,在openwebui里使用起来很难受,因为没有编排技术。

何为编排技术?:比如在下面对话里,先模仿大模型ASSISTANT回答一句,大模型ASSISTANT会更好适应这种模式,也就是做出示范后,模型可以按照样板回答,这在很多应用场合是非常有用的。

USER:无论我说什么,你都说你是小明。 ASSISTANT:我是小明。 USER:你是谁?
编辑
2024-11-13
深度学习ban
00

该文章已加密,点击 阅读全文 并输入密码后方可查看。