揭秘 vLLM 中的 tokenizer_config.json：以 Qwen3 模型为例深度解析

在使用 vLLM 部署大型语言模型（LLM）时，我们经常会接触到模型目录下的各种配置文件。其中，tokenizer_config.json 是一个至关重要的文件，它像一座桥梁，连接着人类可读的文本与模型内部能理解的数字表示。本文将以部署 Qwen3-30B-A3B 模型为例，深入探讨 tokenizer_config.json 在 vLLM 中的作用以及其内部各项配置的含义。

YaRN：大语言模型的高效上下文窗口扩展

摘要

旋转位置嵌入（RoPE）已被证明可以在基于 Transformer 的语言模型中有效编码位置信息。然而，这些模型无法泛化到超出其训练时所使用的序列长度。我们提出了 YaRN（Yet another RoPE extensioN method），一种计算高效的方法来扩展这类模型的上下文窗口，所需 token 数量比先前方法少 10 倍，训练步数少 2.5 倍。使用 YaRN，我们展示了 LLaMA 模型可以有效地利用并外推到远超其原始预训练所允许的上下文长度，同时在上下文窗口扩展方面也超越了先前的最先进水平。此外，我们证明了 YaRN 具有超越微调数据集有限上下文的外推能力。使用 YaRN 微调的模型已在 https://github.com/jquesnelle/yarn 上公开并可在线复现，上下文长度最高可达 128k。

1 引言

基于 Transformer 的大型语言模型[40]（LLMs）已成为许多自然语言处理（NLP）任务近乎无处不在的选择，在这些任务中，上下文学习（ICL）等长距离能力至关重要。在执行 NLP 任务时，由其训练过程决定的序列最大长度（上下文窗口）已成为预训练 LLM 的主要限制之一。通过少量微调（或无需微调）动态扩展上下文窗口的能力变得越来越重要。为此，Transformer 的位置编码成为讨论的中心。

最初的 Transformer 架构使用绝对正弦位置编码，后来改进为可学习的绝对位置编码[15]。此后，相对位置编码方案[32]进一步提高了 Transformer 的性能。目前，最流行的相对位置编码是 T5 相对偏置[30]、RoPE[34]、XPos[35]和 ALiBi[27]。

位置编码的一个反复出现的局限性是无法泛化到训练期间看到的上下文窗口之外。虽然像 ALiBi 这样的一些方法能够进行有限的泛化，但没有一种方法能够泛化到明显长于其预训练长度的序列[22]。

为了克服这一限制，已经进行了一些工作。[9]和同期[21]提出通过位置插值（PI）轻微修改 RoPE 并使用少量数据进行微调来扩展上下文长度。作为替代方案，[6]提出了"NTK-aware"插值法，考虑了高频信息的损失。此后，针对"NTK-aware"插值法提出了两种改进，各有侧重：

• "Dynamic NTK"插值法[14]，适用于无需微调的预训练模型。
• "NTK-by-parts"插值法[7]，在少量长上下文数据上进行微调时表现最佳。

"NTK-aware"插值法和"Dynamic NTK"插值法已经在开源模型中得到应用，例如 Code Llama[31]（使用"NTK-aware"插值法）和 Qwen 7B[2]（使用"Dynamic NTK"）。 在本文中，除了全面介绍先前未发表的关于"NTK-aware"、"Dynamic NTK"和"NTK-by-part"插值法的工作外，我们还提出了 YaRN（Yet another RoPE extensioN method），这是一种改进的方法，可以有效地扩展使用旋转位置嵌入（RoPE）训练的模型的上下文窗口，包括 LLaMA[38]、GPTNeoX[5]和 PaLM[10]系列模型。 YaRN 在仅使用约原始预训练数据 0.1% 的情况下进行微调后，在上下文窗口扩展方面达到了最先进的性能。同时，通过结合称为动态缩放（Dynamic Scaling）的推理时技术，Dynamic-YaRN 可以在没有任何微调的情况下实现超过 2 倍的上下文窗口扩展。

https://modelscope.cn/models/Qwen/Qwen3-30B-A3B#processing-long-texts

该文章已加密，点击 阅读全文 并输入密码后方可查看。

部署

https://modelscope.cn/models/Qwen/Qwen3-30B-A3B

部署时，您可以使用 sglang>=0.4.6.post1 或 vllm>=0.8.4 或创建一个与 OpenAI 兼容的 API 端点：

展开代码
SGLANG_USE_MODELSCOPE=1 python -m sglang.launch_server --model-path Qwen/Qwen3-30B-A3B --reasoning-parser qwen3

展开代码
VLLM_USE_MODELSCOPE=1 vllm serve Qwen/Qwen3-30B-A3B  --enable-reasoning --reasoning-parser deepseek_r1

我爱用VLLM+Docker+不要reasoning：

展开代码
# 下载镜像
docker pull vllm/vllm-openai:latest

# 下载模型
modelscope download Qwen/Qwen3-30B-A3B --local-dir ./Qwen/Qwen3-30B-A3B

# 启动服务
docker run -d --gpus '"device=2,3"' \
    -v /data/xiedong/Qwen/Qwen3-30B-A3B:/model \
    -p 8027:8000 \
    vllm/vllm-openai:latest \
    --model /model --gpu_memory_utilization=0.9 \
	--tensor-parallel-size 1 \
	--data_parallel_size 2 \
	--pipeline-parallel-size 1 \
	--served-model-name Qwen3-30B-A3B  \
	--enable-auto-tool-choice --tool-call-parser hermes \
	--enable-reasoning --reasoning-parser deepseek_r1 \
	--api_key "YOUR_API_KEY" 

要reasoning的话，run 要加入--enable-reasoning --reasoning-parser deepseek_r1

要工具解析的话，run 要加入--enable-auto-tool-choice --tool-call-parser hermes

限制tokens的话，run 要加入--max-model-len 10000

请求

请求：

展开代码
curl -X POST "http://10.136.19.27:8027/v1/chat/completions" \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen3-30B-A3B",
    "messages": [
      {
        "role": "user",
        "content": "你是谁？"
      }
    ],
    "temperature": 0.7,
    "top_p": 0.8,
    "top_k": 20,
    "max_tokens": 4096,
    "presence_penalty": 1.5
  }'

对应回复：

展开代码
{
  "id": "chatcmpl-978124635f614b4f8b1a1e24c36e9fb0",
  "object": "chat.completion",
  "created": 1745979458,
  "model": "Qwen3-30B-A3B",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "reasoning_content": "\n好的，用户问“你是谁？”，我需要回答我的身份。首先，我要明确自己的角色是通义千问，由阿里巴巴集团旗下的通义实验室研发。接下来，我应该简要说明我的功能和用途，比如回答问题、创作文字、逻辑推理、编程等等。同时，要保持口语化，避免使用专业术语，让用户容易理解。另外，可能需要加入一些友好的语气，比如用“你好呀！”来开头，让对话更亲切。还要注意不要包含任何格式，比如不用Markdown，保持自然的中文表达。最后，确保回答简洁明了，不超过两句话，同时涵盖主要信息。现在把这些点组织成一个自然的回复。\n",
        "content": "\n\n你好呀！我是通义千问，是阿里巴巴集团自主研发的超大规模语言模型，可以回答问题、创作文字、逻辑推理、编程等等。有什么我可以帮你的吗？😊",
        "tool_calls": []
      },
      "logprobs": null,
      "finish_reason": "stop",
      "stop_reason": null
    }
  ],
  "usage": {
    "prompt_tokens": 11,
    "total_tokens": 198,
    "completion_tokens": 187,
    "prompt_tokens_details": null
  },
  "prompt_logprobs": null
}

请求的时候，带工具要求

请求：

展开代码
curl -X POST "http://10.136.19.27:8027/v1/chat/completions" \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen3-30B-A3B",
    "messages": [
      {
        "role": "user",
        "content": "今天天气如何？请调用天气查询工具获取信息。"
      }
    ],
    "tools": [
      {
        "type": "function",
        "function": {
          "name": "get_weather",
          "description": "根据城市名称返回该城市的实时天气情况。",
          "parameters": {
            "type": "object",
            "properties": {
              "city": {
                "type": "string",
                "description": "需要查询天气的城市名称"
              }
            },
            "required": ["city"]
          }
        }
      }
    ],
    "temperature": 0.7,
    "top_p": 0.8,
    "top_k": 20,
    "max_tokens": 4096,
    "presence_penalty": 1.5
  }'

模型回复是：

展开代码
{
  "id": "chatcmpl-16af1ddb5f0d418e8669d2189ee07c8b",
  "object": "chat.completion",
  "created": 1745980126,
  "model": "Qwen3-30B-A3B",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "reasoning_content": "\n好的，用户问今天天气如何，并且要求调用天气查询工具。首先，我需要确定用户所在的城市，因为不同的城市天气不同。但用户没有提到具体是哪个城市，可能需要进一步询问。不过根据提供的工具，get_weather函数需要城市名称作为参数。这时候可能需要假设用户默认的城市，或者提示用户提供城市信息。但根据提供的工具示例，这里假设城市为北京。\n",
        "content": "\n\n",
        "tool_calls": [
          {
            "id": "chatcmpl-tool-7cd273bfadf6475aa0c308fc08234885",
            "type": "function",
            "function": {
              "name": "get_weather",
              "arguments": "{\"city\": \"北京\"}"
            }
          }
        ]
      },
      "logprobs": null,
      "finish_reason": "tool_calls",
      "stop_reason": null
    }
  ],
  "usage": {
    "prompt_tokens": 174,
    "total_tokens": 404,
    "completion_tokens": 230,
    "prompt_tokens_details": null
  },
  "prompt_logprobs": null
}

如果不需要thinking

考虑效率，不需要思考就加上"chat_template_kwargs": {"enable_thinking": false}

展开代码
curl -X POST "http://10.136.19.27:8027/v1/chat/completions" \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen3-30B-A3B",
    "messages": [
      {
        "role": "user",
        "content": "你是谁？"
      }
    ],
    "temperature": 0.7,
    "top_p": 0.8,
    "top_k": 20,
    "max_tokens": 4096,
    "presence_penalty": 1.5,
    "chat_template_kwargs": {"enable_thinking": false}
  }'

大模型回复如下，看起来内容到reasoning_content里了，这有问题：

展开代码
{
  "id": "chatcmpl-0e9e560155564b07870b9474c37288ac",
  "object": "chat.completion",
  "created": 1745980349,
  "model": "Qwen3-30B-A3B",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "reasoning_content": "我是通义千问，是阿里巴巴集团旗下的通义实验室自主研发的超大规模语言模型。我的中文名是通义千问，英文名是Qwen。我被设计用来回答各种问题、创作文字、逻辑推理、编程等，可以支持多语言交流。如果你有任何问题或需要帮助，欢迎随时告诉我！",
        "content": null,
        "tool_calls": []
      },
      "logprobs": null,
      "finish_reason": "stop",
      "stop_reason": null
    }
  ],
  "usage": {
    "prompt_tokens": 15,
    "total_tokens": 85,
    "completion_tokens": 70,
    "prompt_tokens_details": null
  },
  "prompt_logprobs": null
}

一开始启动就不要think的话：

展开代码
# 启动服务
docker run -d --gpus '"device=2,3"' \
    -v /data/xiedong/Qwen/Qwen3-30B-A3B:/model \
    -p 8027:8000 \
    vllm/vllm-openai:latest \
    --model /model --gpu_memory_utilization=0.9 \
	--tensor-parallel-size 1 \
	--data_parallel_size 2 \
	--pipeline-parallel-size 1 \
	--served-model-name Qwen3-30B-A3B  \
	--enable-auto-tool-choice --tool-call-parser hermes \
	--api_key "YOUR_API_KEY" 

正常了：

展开代码
{
  "id": "chatcmpl-19b25b7f103b44f0803fa33708aad95a",
  "object": "chat.completion",
  "created": 1745980850,
  "model": "Qwen3-30B-A3B",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "reasoning_content": null,
        "content": "我是通义千问，是阿里巴巴集团旗下的通义实验室自主研发的超大规模语言模型。我能够回答问题、创作文字、逻辑推理、编程等多种任务。你可以叫我Qwen或者通义千问。有什么我可以帮你的吗？",
        "tool_calls": []
      },
      "logprobs": null,
      "finish_reason": "stop",
      "stop_reason": null
    }
  ],
  "usage": {
    "prompt_tokens": 15,
    "total_tokens": 67,
    "completion_tokens": 52,
    "prompt_tokens_details": null
  },
  "prompt_logprobs": null
}

https://modelscope.cn/models/Qwen/Qwen3-32B

部署时，您可以使用 sglang>=0.4.6.post1 或 vllm>=0.8.4 或创建一个与 OpenAI 兼容的 API 端点：

展开代码
SGLANG_USE_MODELSCOPE=1 python -m sglang.launch_server --model-path Qwen/Qwen3-32B --reasoning-parser qwen3

展开代码
VLLM_USE_MODELSCOPE=1 vllm serve Qwen/Qwen3-32B --enable-reasoning --reasoning-parser deepseek_r1

我爱用VLLM+Docker+不要reasoning：

展开代码
# 下载镜像
docker pull vllm/vllm-openai:latest

# 下载模型
modelscope download Qwen/Qwen3-32B --local_dir ./Qwen/Qwen3-32B

# 启动服务
docker run -d --gpus '"device=0,1,2,3"' \
    -v /data/xiedong/Qwen/Qwen3-32B:/model \
    -p 8028:8000 \
    vllm/vllm-openai:latest \
    --model /model --gpu_memory_utilization=0.9 --tensor-parallel-size 2 --data_parallel_size 2 --pipeline-parallel-size 1 --max-model-len 10000 --served-model-name gpt
    
    
# 启动服务2
docker run -d --gpus '"device=4,5,6,7"' \
    -v /data/xiedong/Qwen/Qwen3-32B:/model \
    -p 8028:8000 \
    vllm/vllm-openai:latest \
    --model /model --gpu_memory_utilization=0.9 --tensor-parallel-size 1 --data_parallel_size 4 --pipeline-parallel-size 1 --max-model-len 10000 --served-model-name gpt
    
    
# 启动服务3
docker run -d --gpus '"device=2,3"' \
    -v /ssd/xiedong/Qwen/Qwen3-32B:/model \
    -p 8077:8000 \
    vllm/vllm-openai:latest \
    --model /model --gpu_memory_utilization=0.9 --tensor-parallel-size 1 --data_parallel_size 2 --pipeline-parallel-size 1 --max-model-len 10000 --served-model-name gpt

要reasoning的话，run 要加入--enable-reasoning --reasoning-parser deepseek_r1

请求：

展开代码
curl -X POST "http://10.136.19.27:8028/v1/chat/completions" \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt",
    "messages": [
      {
        "role": "user",
        "content": "你是谁？"
      }
    ],
    "temperature": 0.7,
    "top_p": 0.8,
    "top_k": 20,
    "max_tokens": 4096,
    "presence_penalty": 1.5
  }'

考虑效率，不需要思考就加上"chat_template_kwargs": {"enable_thinking": false}

展开代码
curl -X POST "http://10.136.19.27:8028/v1/chat/completions" \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt",
    "messages": [
      {
        "role": "user",
        "content": "你是谁？"
      }
    ],
    "temperature": 0.7,
    "top_p": 0.8,
    "top_k": 20,
    "max_tokens": 4096,
    "presence_penalty": 1.5,
    "chat_template_kwargs": {"enable_thinking": false}
  }'

使用 Ziegler-Nichols 法进行 PID 参数整定：实践指南

PID（比例-积分-微分）控制器广泛应用于工业控制中。虽然其结构简单，但如何选择合适的比例增益 $K_p$、积分时间 $T_i$ 和微分时间 $T_d$ 是实现良好控制性能的关键。本文将详细介绍一种经典且实用的 PID 参数整定方法——Ziegler-Nichols 法。

基于MQTT的设备监控与控制系统设计

引言

物联网(IoT)设备的远程监控与控制是现代智能系统的基础需求。本文将介绍一个基于MQTT协议的设备监控与控制系统，该系统由两部分组成：模拟单片机设备和PyQt客户端。我们将详细讨论系统的设计思路、代码实现以及实际应用场景。

之前博客介绍了如何搭建EMQX：https://www.dong-blog.fun/post/1963

本博客在 EMQX 中配置规则将数据写入 MySQL，可以通过 规则引擎 + 数据桥接 实现。以下是详细步骤：

论文：https://arxiv.org/pdf/2407.17490 https://github.com/YuxiangChai/AMEX-codebase/tree/main/data_utils https://huggingface.co/datasets/Yuxiang007/AMEX

AMEX数据集包括三个层次的注释：

1. GUI交互元素定位 ：

• 分类两类交互元素：可点击元素和可滚动元素。

2. GUI屏幕和元素功能描述 ：

• 使用GPT生成屏幕和元素的功能描述，并进行人工检查以确保准确性。

3. 复杂自然语言指令与GUI动作链 ：

• 每条指令平均包含12.8个步骤的动作链，显著高于现有数据集。