模型：https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B

下载模型，这样下载太慢，换个源头：

bash
# Make sure you have git-lfs installed (https://git-lfs.com)
git lfs install

git clone https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B

# If you want to clone without large files - just their pointers
GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B

从这里下载： https://modelscope.cn/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B/files

bash
pip install modelscope

modelscope download \
--model 'deepseek-ai/DeepSeek-R1-Distill-Qwen-32B' \
--local_dir '/data/xiedong/DeepSeek-R1-Distill-Qwen-32B'

DeepSeek官网教程说：

例如，您可以使用vLLM轻松启动服务：

vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --tensor-parallel-size 2 --max-model-len 32768 --enforce-eager

您还可以使用SGLang轻松启动服务

python3 -m sglang.launch_server --model deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --trust-remote-code --tp 2

我这里使用sglang的docker启动，教程：https://docs.sglang.ai/start/install.html

bash
docker pull lmsysorg/sglang:latest

docker run --gpus '"device=5,6"' \
    --shm-size 32g \
    -p 7890:7890 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    -v /data/xiedong/DeepSeek-R1-Distill-Qwen-32B:/data/xiedong/DeepSeek-R1-Distill-Qwen-32B \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server --model-path /data/xiedong/DeepSeek-R1-Distill-Qwen-32B --host 0.0.0.0 --port 7890 --tp 2

--tp 2 的含义是张量并行，详细参数可以看：https://docs.sglang.ai/backend/server_arguments.html

客户端请求这个服务：

from openai import OpenAI

client = OpenAI(
    api_key="xxx",
    base_url="http://101.136.8.66:7890/v1/"
)

chat_completion = client.chat.completions.create(
    messages=[
        {"role": "system",
         "content": "你是Prompt提示词生成器，擅长将用户提供的提示词优化为更合适的表达。你只能输出英文。"},
        {"role": "user", "content": "现在请你开始优化提示词，用户输入为：一个女人，动漫风格"}
    ],
    model="/data/xiedong/DeepSeek-R1-Distill-Qwen-32B",
)
print(chat_completion)

generated_text = chat_completion.choices[0].message.content
print(generated_text)

得到回复：

E:\ProgramData\miniconda3\python.exe "F:\Downloads\pyadrc-master (3)\pyadrc-master\x06.py" 
ChatCompletion(id='cccd1a4d90c744c7a97b9a5d1357f69e', choices=[Choice(finish_reason='stop', index=0, logprobs=None, message=ChatCompletionMessage(content='嗯，用户给了我这个任务，让我作为提示词生成器，把他们的提示词优化一下。他们给的例子是“一个女人，动漫风格”。首先，我需要理解用户的需求是什么。他们可能是在生成图像或者艺术作品，需要更精确的描述来让AI更好地理解。\n\n用户输入的提示词比较简单，只有两个部分：“一个女人”和“动漫风格”。但这两个词可能不够详细，AI生成的结果可能会比较模糊。所以，我需要考虑如何扩展和细化这些提示词，使其更具体，更有指导性。\n\n首先，“一个女人”可以细化为“女性角色”或者“女主人公”，这样更明确。然后，“动漫风格”可以进一步描述，比如“anime art style”或者“manga aesthetic”，这样可以更准确地传达风格。另外，还可以加入一些细节，比如“动态姿势”、“丰富的色彩”、“复杂的背景”等，这样生成的图像会更生动。\n\n我还需要考虑用户可能的深层需求。他们可能希望生成的图像不仅符合动漫风格，还要有情感表达，比如“自信”、“优雅”或者“神秘”。这些情绪词汇可以帮助AI更好地捕捉角色的气质。\n\n另外，用户可能不熟悉专业的提示词术语，所以优化后的提示词应该既专业又易于理解。比如，“anime-style female character”比“动漫风格的女人”更符合AI的术语，同时也很清晰。\n\n最后，我需要确保生成的提示词是英文，因为用户特别说明只能输出英文。所以，在优化时要确保用词准确，同时保持句子的流畅和自然。\n\n总结一下，优化提示词的关键在于细化每个部分，添加更多细节和情感描述，使用专业术语，同时保持清晰和简洁。这样，用户得到的提示词会更有效，生成的结果也会更符合他们的预期。\n</think>\n\n"A female character in an anime art style, with dynamic poses, vibrant colors, and intricate details."', refusal=None, role='assistant', audio=None, function_call=None, tool_calls=None), matched_stop=151643)], created=1739522891, model='/data/xiedong/DeepSeek-R1-Distill-Qwen-32B', object='chat.completion', service_tier=None, system_fingerprint=None, usage=CompletionUsage(completion_tokens=397, prompt_tokens=45, total_tokens=442, completion_tokens_details=None, prompt_tokens_details=None))
嗯，用户给了我这个任务，让我作为提示词生成器，把他们的提示词优化一下。他们给的例子是“一个女人，动漫风格”。首先，我需要理解用户的需求是什么。他们可能是在生成图像或者艺术作品，需要更精确的描述来让AI更好地理解。

用户输入的提示词比较简单，只有两个部分：“一个女人”和“动漫风格”。但这两个词可能不够详细，AI生成的结果可能会比较模糊。所以，我需要考虑如何扩展和细化这些提示词，使其更具体，更有指导性。

首先，“一个女人”可以细化为“女性角色”或者“女主人公”，这样更明确。然后，“动漫风格”可以进一步描述，比如“anime art style”或者“manga aesthetic”，这样可以更准确地传达风格。另外，还可以加入一些细节，比如“动态姿势”、“丰富的色彩”、“复杂的背景”等，这样生成的图像会更生动。

我还需要考虑用户可能的深层需求。他们可能希望生成的图像不仅符合动漫风格，还要有情感表达，比如“自信”、“优雅”或者“神秘”。这些情绪词汇可以帮助AI更好地捕捉角色的气质。

另外，用户可能不熟悉专业的提示词术语，所以优化后的提示词应该既专业又易于理解。比如，“anime-style female character”比“动漫风格的女人”更符合AI的术语，同时也很清晰。

最后，我需要确保生成的提示词是英文，因为用户特别说明只能输出英文。所以，在优化时要确保用词准确，同时保持句子的流畅和自然。

总结一下，优化提示词的关键在于细化每个部分，添加更多细节和情感描述，使用专业术语，同时保持清晰和简洁。这样，用户得到的提示词会更有效，生成的结果也会更符合他们的预期。
</think>

"A female character in an anime art style, with dynamic poses, vibrant colors, and intricate details."

进程已结束，退出代码为 0