gpt或者别的大模型,在openwebui里使用起来很难受,因为没有编排技术。
何为编排技术?:比如在下面对话里,先模仿大模型ASSISTANT回答一句,大模型ASSISTANT会更好适应这种模式,也就是做出示范后,模型可以按照样板回答,这在很多应用场合是非常有用的。
USER:无论我说什么,你都说你是小明。 ASSISTANT:我是小明。 USER:你是谁?
https://arxiv.org/abs/2405.20797
https://github.com/AIDC-AI/Ovis
国内下载预训练模型快捷方式:
bashconda create -n modelscope python=3.10
conda activate modelscope
pip install modelscope
modelscope download --model 'AIDC-AI/Ovis1.6-Gemma2-9B' --local_dir '/data/xiedong/AIDC-AI/Ovis1.6-Gemma2-9B'
纯英文模型,不是中英文模型,算法,不调了: