## 个人总结

预训练阶段用对比学习，清洗后的数据用于预训练。题目-内容文本对、输入-输出文本对、问题-答案文本对、提示-响应文本对，都是训练数据。

动态困难负样本挖掘：训练过程中，困难样本会不断改变，重新挖掘。

跨GPU批次平衡损失：以往都是不同embedding任务交替训练，认为这样会震荡，直接多个任务一起BP。



## **摘要**

随着RAG（检索增强生成）技术的日益流行，嵌入模型的能力也引起了越来越多的关注。嵌入模型通常通过对比学习进行训练，其中负样本是关键组成部分。以往的研究提出了多种困难负样本挖掘策略，但这些策略通常作为预处理步骤来应用。在本文中，我们提出了conan-embedding模型，旨在最大化利用更多、更高质量的负样本。具体来说，由于模型处理预处理负样本的能力会随着训练的进行而演变，我们提出了动态困难负样本挖掘方法，旨在使模型在训练过程中暴露于更多具有挑战性的负样本。其次，对比学习需要尽可能多的负样本，但由于GPU内存的限制，这一需求受到了制约。因此，我们使用跨GPU平衡损失（Cross-GPU balancing Loss）来提供更多的负样本进行嵌入训练，并平衡多个任务的批量大小。此外，我们还发现来自大型语言模型（LLM）的提示-响应对（prompt-response pairs）可以用于嵌入训练。我们的方法有效提升了嵌入模型的能力，目前在中文大规模文本嵌入基准（MTEB）排行榜上排名第一。





## 1 引言

随着自然语言处理技术的快速发展，嵌入模型（Su 等, 2022；Xiao 等, 2023；Wang 等, 2023）在文本表示、信息检索和生成任务中发挥了关键作用。嵌入模型将单词、句子或文档映射到高维连续空间中，使得相似文本具有更接近的向量表示。这种表示不仅增强了文本数据的可操作性，还显著提高了各种下游任务的性能。特别是在检索增强生成（RAG）技术中，嵌入模型的能力直接影响生成结果的质量。

尽管嵌入模型取得了显著进展，但现有方法在负样本选择方面仍存在不足。通常，嵌入模型通过对比学习进行训练，而负样本的质量对模型性能至关重要。先前的研究（Wang 等, 2022；Moreira 等, 2024）提出了各种困难负样本挖掘策略，在一定程度上提高了模型性能。然而，这些策略大多作为预处理步骤使用，限制了模型在处理复杂多变的训练数据时的性能。

为了解决这些问题，本文提出了Conan-Embedding模型，最大化地利用更多和更高质量的负样本。具体来说，我们在训练过程中迭代挖掘困难负样本，使模型能够动态适应变化的训练数据。此外，我们引入了跨GPU平衡损失，以平衡多任务中的负样本数量，提高训练效率和效果。我们还发现，大型语言模型（LLMs）的提示响应对可以用作训练数据，进一步增强嵌入模型的性能。通过这些改进，我们的方法在中文大规模文本嵌入基准（CMTEB）排行榜上取得了第一名，展示了其出色的性能和广泛的应用前景。

## 2 方法

### 2.1 训练流程

#### 2.1.1 预训练

参考Li 等（2023a），我们也采用了多阶段的训练方法。我们将训练分为预训练和微调阶段。如图1（a）所示，在预训练阶段，我们使用Cai 等（2024）描述的标准数据过滤方法。经过过滤后，我们使用bge-large-zh-v1.5模型（Xiao 等, 2023）进行评分，然后丢弃所有得分低于0.4的数据。为了高效、充分地利用预训练数据，我们使用带In-Batch Negative的InfoNCE损失进行训练：

$$
L_{\text{neg}} = - \sum_{i=1}^{N} \log \frac{\exp(\text{sim}(x_i, y^+_i))}{\sum_{j=1}^{M} \exp(\text{sim}(x_i, y_j))}
$$

$x_i$表示正样本的查询，$y^+_i$表示正样本的段落，$y_i$表示同一批次中其他样本的段落，这些被视为负样本。


![](https://www.dong-blog.fun/static/img/eb4b0755d61dee52460918312011c84d.image.webp)

In-Batch Negative InfoNCE Loss（Gutmann 和 Hyvärinen, 2010）是一种用于对比学习的损失函数，它利用小批次中的其他样本作为负样本来优化模型。具体来说，在每个小批次中，目标样本的正对以外的所有样本都被视为负样本。通过最大化正对的相似性和最小化负对的相似性，In-Batch Negative InfoNCE Loss可以有效增强模型的判别能力和表示学习性能。该方法通过充分利用小批次中的样本，提高了训练效率，并减少了生成额外负样本的需求。

#### 2.1.2 有监督微调

在有监督微调阶段，我们对不同的下游任务进行特定的任务微调。如图1（b）所示，我们将任务分为两类：检索和STS（语义文本相似性）。检索任务包括查询、正文本和负文本，经典的损失函数是InfoNCE损失。STS任务涉及区分两个文本之间的相似性，经典的损失函数是交叉熵损失。根据Su（2022）和其他研究（Wang Yuxin, 2023），CoSENT损失比交叉熵损失稍好。因此，我们也采用CoSENT损失来优化STS任务，其公式如下：

$$
L_{\text{cos}} = \log \left( 1 + \sum_{\text{sim}(i,j) > \text{sim}(k,l)} \exp \left( \frac{\cos(x_k,x_l) - \cos(x_i,x_j)}{\tau} \right) \right)
$$

其中，$\tau$是缩放温度，$\cos(\cdot)$是余弦相似性函数，$\text{sim}(k,l)$是$x_i$和$x_j$之间的相似性。

### 2.2 动态困难负样本挖掘

先前的工作主要集中在数据预处理阶段的困难负样本挖掘。对于具有给定权重的嵌入模型，困难负样本是固定的。然而，随着训练的进展和模型权重的更新，与当前权重对应的困难负样本会发生变化。在预处理阶段挖掘的困难负样本经过几次训练迭代后可能不再具有挑战性。

基于这一观点，我们提出了一种动态困难负样本挖掘方法。对于每个数据点，我们记录困难负样本相对于查询的当前平均得分。每100次迭代，如果得分乘以1.15小于初始得分且得分的绝对值小于0.8，我们认为该负样本不再困难，并进行新一轮的困难负样本挖掘。在每次动态困难负样本挖掘期间，如果需要替换困难负样本，我们使用$(i-1) \times n + 10$到$i \times n + 10$的案例作为负样本，其中$i$表示第$i$次替换，$n$表示每次使用的困难负样本数量。整个过程的成本相当于一步迭代。

与In-Batch Negative InfoNCE Loss相比，我们认为更高质量的困难负样本（与当前模型权重更一致）更为重要。图2.2展示了动态困难负样本挖掘与标准困难负样本挖掘的正负样本得分-步数曲线。如图所示，随着步骤的增加，标准困难负样本挖掘中的负样本得分停止下降并开始振荡，这表明模型已经从该批负样本中学习完毕。相比之下，动态困难负样本挖掘在检测到负样本对模型不再具有挑战性时替换困难负样本。


![](https://www.dong-blog.fun/static/img/c5fd516b0d2b329e4172108d6e1fa9d8.image.webp)

### 2.3 跨GPU批次平衡损失

为了更好地利用困难示例，我们采用了Cross-GPU Batch Balance Loss（CBB）。先前的方法（Li 等, 2023b）通常在训练过程中随机为每个批次分配一个任务。例如，在第0次迭代中，选择STS任务的样本，并使用相应的STS损失进行反向传播以获得梯度并更新权重。在第1次迭代中，可能会分配Retri任务。我们称之为顺序随机任务训练。这种训练往往导致单次迭代优化的搜索空间与嵌入模型的全局搜索空间之间不一致，从而导致训练过程中的振荡。这些振荡妨碍了模型收敛到全局最优，使得实现最佳性能更加困难。我们在第3.5节中展示了这一现象。

为了解决这个问题，我们考虑在每个Forward-Loss-Backward-Update周期中以平衡的方式引入每个任务，以获得稳定的搜索空间，并最小化单次模型更新方向与全局最优之间的差异。因此，CBB策略不仅考虑不同GPU之间的通信，还考虑不同任务之间的通信，实现更好的批次平衡。如图3所示，为了在检索任务中利用更多的困难示例，我们确保每个GPU（gpu0, gpu1, gpu2, gpu3）具有不同的负样本，同时共享相同的查询和正样本。对于Retri任务，每个GPU计算其对应批次的损失，并在gpu1上汇总结果。对于STS任务，gpu4运行STS任务并获得相应的损失。最后，汇总结果以计算当前迭代的组合CBB损失。相应的公式如下：

$$
L_{\text{CBB}} = -\frac{1}{n} \sum_{i} \log \frac{\exp(s(x_i, y^+_i)/\tau)}{\exp(s(x_i, y^+_i)/\tau) + \sum_{k=1}^{N} \sum_{j=1}^{n} \exp(s(x_i, y^-_j)/\tau)} + \beta \times L_{\text{cos}}
$$

其中，$s(x_i, y^+_i)$是查询$x_i$和正文本$y^+_i$之间的评分函数，通常定义为余弦相似性，$N$是共享查询$x_i$和正文本$y^+_i$的GPU数量，$\tau$是缩放温度。我们将$\beta$经验设置为0.8。



![](https://www.dong-blog.fun/static/img/94107788ce009e67cd30c508ee3c2525.image.webp)

Conan-embedding模型论文解析

https://huggingface.co/spaces/mteb/leaderboard


![](https://www.dong-blog.fun/static/img/09967ec97ba8ee2e2d43db7e9bde455f.image.webp)

embedding模型排行榜


下载软件：

https://www.latex-project.org/get/#tex-distributions

https://miktex.org/download


![](https://www.dong-blog.fun/static/img/ffcf7265a7dcb4966a368e5543390c66.image.webp)

MiKTeX 本身并不提供图形界面编辑器，但你可以选择与 MiKTeX 配合的文本编辑器。常用的 LaTeX 编辑器包括：

- TeXworks：是 MiKTeX 安装时自带的编辑器，界面简洁，适合初学者。
- TeXstudio：功能更全，适合有一定经验的用户。下载： https://www.texstudio.org/ 
- Visual Studio Code：通过安装 LaTeX 插件，也可以进行 LaTeX 编辑。


在TeXstudio里按F7就可以编译：

```

\documentclass[a4paper,12pt]{article}

% 导入必要的宏包
\usepackage{fontspec}      % 字体设置
\usepackage{xeCJK}         % 支持中文
\usepackage{amsmath}       % 数学公式
\usepackage{graphicx}      % 插入图片
\usepackage{cite}          % 引用管理

% 设置中文字体
\setCJKmainfont{SimSun}    % 设置中文主字体为宋体

% 设置英文字体
\setmainfont{Times New Roman}

% 设置页面边距
\usepackage[margin=1in]{geometry}

\title{XeLaTeX 示例文章}
\author{作者名}
\date{\today}

\begin{document}
	
	\maketitle
	
	\begin{abstract}
		本文介绍了如何使用XeLaTeX编写支持中文和英文混排的文档。文中展示了基本的排版功能，包括数学公式、图片插入和文献引用等。
	\end{abstract}
	
	\section{引言}
	XeLaTeX是一种基于LaTeX的排版系统，最大的特点是可以使用系统中的字体，尤其是支持Unicode字符，能够方便地处理中文。相比传统的LaTeX，XeLaTeX提供了更好的字体支持和更加灵活的排版功能。
	
	在本文中，我们将介绍如何在XeLaTeX中混排中文和英文，以及如何处理常见的数学公式和文献引用。
	
	\section{数学公式}
	XeLaTeX支持常见的数学公式排版，以下是几个例子：
	
	\subsection{简单的公式}
	\begin{equation}
		E = mc^2
	\end{equation}
	这是著名的质能方程，表示质量和能量之间的关系。
	
	\subsection{矩阵公式}
	\[
	A = \begin{pmatrix}
		1 & 2 & 3 \\
		4 & 5 & 6 \\
		7 & 8 & 9
	\end{pmatrix}
	\]
	这是一个$3 \times 3$的矩阵。
	
	\subsection{分段函数}
	\[
	f(x) =
	\begin{cases}
		x^2, & \text{if } x \geq 0 \\
		-x, & \text{if } x < 0
	\end{cases}
	\]
	这是一个分段函数的示例。
	
	\section{插入图片}
	你可以使用`graphicx`宏包插入图片。以下是一个例子：
	
	\begin{figure}[h]
		\centering
		\includegraphics[width=0.5\textwidth]{example.jpg}
		\caption{示例图片}
	\end{figure}
	
	\section{文献引用}
	在文中引用文献很简单，可以使用`\cite`命令。例如：
	
	在\cite{latexCompanion}中，作者介绍了LaTeX的各种技巧和最佳实践。
	
	\bibliographystyle{plain}  % 文献引用样式
	\bibliography{references}  % 文献数据库文件
	
\end{document}

```


![](https://www.dong-blog.fun/static/img/3b89d976a75f8b2055188a301a9ed314.image.webp)

LaTeX 文档写作

## 官网文档：

https://nvidia.github.io/TensorRT-LLM/quick-start-guide.html#launch-the-docker


https://github.com/triton-inference-server/tensorrtllm_backend






## tensorrtllm_backend

```bash
git clone https://github.com/triton-inference-server/tensorrtllm_backend.git
cd tensorrtllm_backend
git submodule update --init --recursive
git lfs install
git lfs pull
```

挺大：2.5G    tensorrtllm_backend/


## 启动容器

启动容器

```bash
docker run --rm -it --net host --shm-size=4g \
    --ulimit memlock=-1 --ulimit stack=67108864 --gpus device=1 \
    -v /data/xiedong/tensorrtllm_backend:/tensorrtllm_backend \
    -v /data/xiedong/engines:/engines \
    -v /data/xiedong/Qwen2.5-14B-Instruct/:/Qwen2.5-14B-Instruct/ \
    nvcr.io/nvidia/tritonserver:24.11-trtllm-python-py3
```


这里选镜像：

https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tritonserver/tags

## 准备 TensorRT-LLM 引擎文件

### 普通模型

```bash
cd /tensorrtllm_backend/tensorrt_llm/examples/qwen

# Convert weights from HF Tranformers to TensorRT-LLM checkpoint
python3 convert_checkpoint.py --model_dir /Qwen2.5-14B-Instruct \
        --dtype float16 \
        --tp_size 1 \
        --output_dir ./tllm_checkpoint_1gpu_bf16

# Build TensorRT engines
trtllm-build --checkpoint_dir ./tllm_checkpoint_1gpu_bf16 \
        --gemm_plugin float16 \
        --output_dir /engines/gpt/fp16/1-gpu
```

### 想做量化

如果想要量化怎么搞？首先要看看TensorRT-LLM 支持的量化精度，每个模型被支持的量化精度不尽相同：

https://nvidia.github.io/TensorRT-LLM/reference/precision.html

https://github.com/NVIDIA/TensorRT-LLM/tree/rel/examples/gpt


convert_checkpoint.py 本身提供了一些量化方式，基本是够用了。详细可看本身的--help。这个行为还自己下载量化矫正数据集去量化模型。下载的是这个数据集： https://huggingface.co/datasets/ccdv/cnn_dailymail 。


准备 TensorRT-LLM 引擎文件，并且是量化过的：


```bash
cd /tensorrtllm_backend/tensorrt_llm/examples/qwen

# Convert weights from HF Tranformers to TensorRT-LLM checkpoint 会自己下载量化校正数据集
python3 convert_checkpoint.py --model_dir /Qwen2.5-14B-Instruct \
        --dtype float16 --smoothquant 0.5 \
        --tp_size 1 --pp_size 1 \
        --output_dir ./tllm_checkpoint_1gpu_int8-sq

# Build TensorRT engines
trtllm-build --checkpoint_dir ./tllm_checkpoint_1gpu_int8-sq \
        --output_dir /engines/gpt/int8-sq/1-gpu
```

![](https://www.dong-blog.fun/static/img/4fecb74dcd8521b276db3846d053422f.image.webp)


### engines的不一样之处

https://github.com/triton-inference-server/tensorrtllm_backend/blob/main/docs/model_config.md



- max_batch_size 定义引擎可以处理的最大请求数。
- max_seq_len 定义单次请求的最大序列长度。
- max_num_tokens 定义每批删除填充后批量输入标记的最大数量。

 --max_num_tokens MAX_NUM_TOKENS
                        is removed in each batch It equals to ``max_batch_size
                        * max_beam_width`` by default, set this value as close


```bash
cd /tensorrtllm_backend/tensorrt_llm/examples/qwen

# 上一小节的量化
python3 convert_checkpoint.py --model_dir /Qwen2.5-14B-Instruct \
        --dtype float16 --smoothquant 0.5 \
        --tp_size 1 --pp_size 1 \
        --output_dir ./tllm_checkpoint_1gpu_int8-sq


# Build TensorRT engines
trtllm-build --checkpoint_dir ./tllm_checkpoint_1gpu_int8-sq \
        --output_dir /engines/gpt/int8-sq-haha/1-gpu --max_batch_size 1 --max_seq_len 512 
```



### 其他量化脚本-不推荐

也可以用另外一个脚本去量化：


```bash
cd /tensorrtllm_backend/tensorrt_llm

python3 examples/quantization/quantize.py --model_dir /Qwen2.5-14B-Instruct \
        --dtype float16 \
        --qformat int8_sq \
        --output_dir /tensorrtllm_backend/tensorrt_llm/examples/qwen/tllm_checkpoint_1gpu_int8-sq-quantize


cd /tensorrtllm_backend/tensorrt_llm/examples/qwen

# Build TensorRT engines
trtllm-build --checkpoint_dir ./tllm_checkpoint_1gpu_int8-sq \
        --output_dir /engines/gpt/int8-sq-quantize/1-gpu
```

quantize.py 参数之一：

* qformat：指定应用于检查点的量化算法。
  
  * fp8：权重在张量维度上量化为 FP8。激活范围在张量维度上校准。
    
  * int8_sq：权重被平滑处理并在通道维度上量化为 INT8。激活范围在张量维度上校准。
    
  * int4_awq：权重被重新缩放并按块量化为 INT4。块大小由 `awq_block_size` 指定。
    
  * w4a8_awq：权重被重新缩放并按块量化为 INT4。块大小由 `awq_block_size` 指定。激活范围在张量维度上校准。
    
  * int8_wo：实际上对权重没有进行任何操作。当 TRTLLM 构建引擎时，权重在通道维度上量化为 INT8。
    
  * int4_wo：与 int8_wo 相同，但在 INT4 中。
    
  * full_prec：不进行量化。


![](https://www.dong-blog.fun/static/img/64c58d5f9edf50daf700efe1f5fadaae.image.webp)


## 准备 Triton 模型库

Triton 推理服务器提供来自启动服务器时指定的一个或多个模型存储库的模型。在 Triton 运行时，可以按照模型管理中的说明修改所提供服务的模型。

这些存储库路径是在使用 --model-repository 选项启动 Triton 时指定的。可以多次指定 --model-repository 选项以包含来自多个存储库的模型。组成模型存储库的目录和文件必须遵循所需的布局。假设存储库路径指定如下。

https://github.com/triton-inference-server/server/blob/main/docs/user_guide/model_repository.md


![](https://www.dong-blog.fun/static/img/65e4ba633d901cfeaf1be4645247c0a3.image.webp)


```bash
mkdir /engines/triton_model_repo/
cp -r /tensorrtllm_backend/all_models/inflight_batcher_llm/* /engines/triton_model_repo/
```

## 修改 Triton 模型配置



填写配置参数，执行这些指令：

```bash
ENGINE_DIR=/engines/gpt/int8-sq-haha/1-gpu
TOKENIZER_DIR=/Qwen2.5-14B-Instruct # HF模型所在
MODEL_FOLDER=/engines/triton_model_repo
TRITON_MAX_BATCH_SIZE=1 # 可以多给点，我这里为了测试下显存，给1
INSTANCE_COUNT=1
MAX_QUEUE_DELAY_MS=0
MAX_QUEUE_SIZE=1
FILL_TEMPLATE_SCRIPT=/tensorrtllm_backend/tools/fill_template.py
DECOUPLED_MODE=false
python3 ${FILL_TEMPLATE_SCRIPT} -i ${MODEL_FOLDER}/ensemble/config.pbtxt triton_max_batch_size:${TRITON_MAX_BATCH_SIZE}
python3 ${FILL_TEMPLATE_SCRIPT} -i ${MODEL_FOLDER}/preprocessing/config.pbtxt tokenizer_dir:${TOKENIZER_DIR},triton_max_batch_size:${TRITON_MAX_BATCH_SIZE},preprocessing_instance_count:${INSTANCE_COUNT}
python3 ${FILL_TEMPLATE_SCRIPT} -i ${MODEL_FOLDER}/tensorrt_llm/config.pbtxt triton_backend:tensorrtllm,triton_max_batch_size:${TRITON_MAX_BATCH_SIZE},decoupled_mode:${DECOUPLED_MODE},engine_dir:${ENGINE_DIR},max_queue_delay_microseconds:${MAX_QUEUE_DELAY_MS},batching_strategy:inflight_fused_batching,max_queue_size:${MAX_QUEUE_SIZE}
python3 ${FILL_TEMPLATE_SCRIPT} -i ${MODEL_FOLDER}/postprocessing/config.pbtxt tokenizer_dir:${TOKENIZER_DIR},triton_max_batch_size:${TRITON_MAX_BATCH_SIZE},postprocessing_instance_count:${INSTANCE_COUNT},max_queue_size:${MAX_QUEUE_SIZE}
python3 ${FILL_TEMPLATE_SCRIPT} -i ${MODEL_FOLDER}/tensorrt_llm_bls/config.pbtxt triton_max_batch_size:${TRITON_MAX_BATCH_SIZE},decoupled_mode:${DECOUPLED_MODE},bls_instance_count:${INSTANCE_COUNT}
```

填充完之后，各个文件夹下面是有一些配置文件的：


```bash
root@GZ-LG401-G1-DOCKER-node-gpu-8:triton_model_repo# tree -L 2
.
|-- ensemble
|   |-- 1
|   `-- config.pbtxt
|-- postprocessing
|   |-- 1
|   `-- config.pbtxt
|-- preprocessing
|   |-- 1
|   `-- config.pbtxt
|-- tensorrt_llm
|   |-- 1
|   `-- config.pbtxt
`-- tensorrt_llm_bls
    |-- 1
    `-- config.pbtxt

10 directories, 5 files
```


## 使用 TensorRT-LLM 模型启动 Triton 服务器


```bash
# 'world_size' is the number of GPUs you want to use for serving. This should
# be aligned with the number of GPUs used to build the TensorRT-LLM engine.

python3 /tensorrtllm_backend/scripts/launch_triton_server.py --world_size=1 --model_repo=${MODEL_FOLDER}
```

这个日志表示启动成功：

```bash
I1122 06:29:55.578920 145 grpc_server.cc:2558] "Started GRPCInferenceService at 0.0.0.0:8001"
I1122 06:29:55.579121 145 http_server.cc:4713] "Started HTTPService at 0.0.0.0:8000"
I1122 06:29:55.620023 145 http_server.cc:362] "Started Metrics Service at 0.0.0.0:8002"
```


要停止容器内的 Triton 服务器，请运行：


```bash
pkill tritonserver
```

- text_input：输入文本以生成响应
- max_tokens：请求的输出 token 数量
- bad_words：脏话列表（可以为空）
- stop_words：停用词列表（可以为空）



```bash
curl -X POST http://101.136.8.66:8000/v2/models/ensemble/generate -d '{"text_input": "<|im_start|>system<|im_end|>\n<|im_start|>user\n你是什么模型?\n<|im_end|>\n<|im_start|>assistant", "max_tokens": 200, "bad_words": "", "stop_words": ""}'
```

返回：

```bash
# curl -X POST http://101.136.8.66:8000/v2/models/ensemble/generate -d '{"text_input": "<|im_start|>system<|im_end|>\n<|im_start|>user\n你是什么模型?\n<|im_end|>\n<|im_start|>assistant", "max_tokens": 200, "bad_words": "", "stop_words": ""}'
{"model_name":"ensemble","model_version":"1","sequence_end":false,"sequence_id":0,"sequence_index":0,"sequence_start":false,"text_output":"system\nuser\n你是什么模型?\n\nassistant 我是一个语言模型，我的功能是生成文本，与用户进行自然语言交流。请问有什么可以帮您的？"}
```

## 客户端访问

https://github.com/triton-inference-server/tensorrtllm_backend/tree/main/inflight_batcher_llm/client



安装环境


```bash
pip3 install tritonclient[all]
pip install transformers

```

访问例子：
```bash
python3  /data/xiedong/tensorrtllm_backend/inflight_batcher_llm/client/inflight_batcher_llm_client.py --request-output-len 200 --tokenizer-dir  "/data/xiedong/Qwen2.5-14B-Instruct"
```


```bash
python3 /data/xiedong/tensorrtllm_backend/inflight_batcher_llm/client/end_to_end_grpc_client.py \
        --url "localhost:8001" --streaming --output-len 100 \
        --prompt "你是谁？"
```

TensorRT-LLM，Qwen2.5 加速量化部署

## Transformer模型中的位置编码

Transformer模型中的位置编码（Positional Encoding）用于为模型提供序列中单词的位置信息，因为Transformer本身是一个无序列的模型，它并不像RNN那样具有顺序处理的能力。

位置编码的公式通常分为两种形式：正弦和余弦函数，具体形式如下：



给定位置 $pos$ 和维度 $i$，位置编码的计算公式为：

$$
PE(pos, 2i) = \sin\left(\frac{pos}{10000^{2i/d}}\right)
$$

$$
PE(pos, 2i+1) = \cos\left(\frac{pos}{10000^{2i/d}}\right)
$$

其中：

- $pos$ 是词在序列中的位置（从0开始）。
- $i$ 是位置编码的维度索引（从0到 $d-1$，其中 $d$ 是位置编码的总维度）。
- $10000$ 是一个常数，用于控制位置编码的尺度。
- $d$ 是位置编码的维度。

解释：

- **正弦和余弦函数**：通过对不同频率的正弦和余弦函数进行编码，不同维度的编码能够在不同的尺度上表示位置差异。这有助于模型捕捉到位置间的相对关系。
- **频率**：随着维度的增加，频率逐渐增大，这意味着低维度的编码表示较大范围的位置信息，而高维度的编码则表示较小范围的位置信息。

这种设计使得位置编码可以为每个词提供一个唯一的、非线性变化的表示，从而帮助Transformer模型理解输入序列的顺序信息。

使用位置编码：

位置编码通常与输入的词向量相加，生成最终的输入表示：

$$
\text{Input}_{\text{final}} = \text{Input}_{\text{embedding}} + \text{Positional Encoding}
$$

这种加和方式使得模型可以同时利用词语的语义信息和其在序列中的位置。

## 向量的旋转

向量旋转的数学公式基于二维平面中的**旋转矩阵**，其表达式如下：

假设一个二维向量 $\mathbf{v} = \begin{bmatrix} x \\ y \end{bmatrix}$，我们希望将它绕原点逆时针旋转一个角度 $\theta$。旋转后的向量 $\mathbf{v'}$ 可通过以下公式计算：

$$
\mathbf{v'} = R(\theta) \cdot \mathbf{v}
$$

其中旋转矩阵 $R(\theta)$ 的定义是：

$$
R(\theta) = \begin{bmatrix} 
\cos\theta & -\sin\theta \\ 
\sin\theta & \cos\theta 
\end{bmatrix}
$$

将公式展开，结果为：
$$
\mathbf{v'} = \begin{bmatrix} 
\cos\theta & -\sin\theta \\ 
\sin\theta & \cos\theta 
\end{bmatrix} 
\cdot 
\begin{bmatrix} 
x \\ 
y 
\end{bmatrix} 
= \begin{bmatrix} 
x\cos\theta - y\sin\theta \\ 
x\sin\theta + y\cos\theta 
\end{bmatrix}
$$

## RoPE 旋转位置编码

在 **RoPE（Rotary Position Embedding）** 中，位置编码的核心思想是通过旋转变换将位置信息融入到输入向量中，而不是直接通过加法的方式。

RoPE 的公式如下：

给定位置 $p$ 和维度索引 $i$，我们通过旋转变换操作将输入的特征向量进行编码。具体公式如下：

### 输入向量表示
假设输入向量为 $x = [x_1, x_2, \ldots, x_d]$，其中 $d$ 是特征向量的维度。RoPE 将 $x$ 中每两个相邻维度视为一对，并施加旋转操作。

### RoPE 的旋转公式
对于每个位置 $p$，输入向量 $x$ 中的每对维度 $(x_{2i}, x_{2i+1})$ 进行如下旋转操作：

$$
\text{RoPE}(x, p) =
\begin{bmatrix}
x_{2i} \cos(\theta_p) - x_{2i+1} \sin(\theta_p) \\
x_{2i} \sin(\theta_p) + x_{2i+1} \cos(\theta_p)
\end{bmatrix}
$$

其中：

$$
\theta_p = \frac{p}{10000^{2i/d}}
$$

### 解释
1. **旋转角度** $\theta_p$：与 Transformer 中的位置编码类似，频率 $\frac{1}{10000^{2i/d}}$ 控制了旋转的幅度，位置 $p$ 影响了旋转角度。
2. **偶数维度** $x_{2i}$：施加 $\cos$ 和 $\sin$ 的旋转变换。
3. **奇数维度** $x_{2i+1}$：配合偶数维度的旋转变换，形成二维平面上的旋转效果。


## RoPE 整体公式

$$
\mathbf{R}_{\Theta, m}^d \mathbf{x} =
\begin{bmatrix}
x_0 \\
x_1 \\
x_2 \\
x_3 \\
\vdots \\
x_{d-2} \\
x_{d-1}
\end{bmatrix}
\otimes
\begin{bmatrix}
\cos(m\theta_0) \\
\cos(m\theta_0) \\
\cos(m\theta_1) \\
\cos(m\theta_1) \\
\vdots \\
\cos(m\theta_{d/2-1}) \\
\cos(m\theta_{d/2-1})
\end{bmatrix}
+
\begin{bmatrix}
-x_1 \\
x_0 \\
-x_3 \\
x_2 \\
\vdots \\
-x_{d-1} \\
x_{d-2}
\end{bmatrix}
\otimes
\begin{bmatrix}
\sin(m\theta_0) \\
\sin(m\theta_0) \\
\sin(m\theta_1) \\
\sin(m\theta_1) \\
\vdots \\
\sin(m\theta_{d/2-1}) \\
\sin(m\theta_{d/2-1})
\end{bmatrix}
$$


1. $ \mathbf{R}_{\Theta, m}^d \mathbf{x} $：旋转位置编码后的向量。
2. $ \mathbf{x} $：输入向量 $ \mathbf{x} = [x_0, x_1, \ldots, x_{d-1}] $。
3. $ \otimes $：逐元素乘法操作。
4. $ \cos(m\theta_i) $ 和 $ \sin(m\theta_i) $：分别为旋转角的正余弦分量，定义为：
   $$
   \theta_i = \frac{p}{10000^{2i/d}}
   $$

## RoPE 理解

### 1. **频率越低，对相对位置越不敏感**
在 RoPE 中，低频成分对应的是公式中 $ i $ 较小（即较低的维度），此时：

$$
\frac{1}{10000^{2i/d}}
$$

的值较大，导致 $ \theta_p $ 的变化很慢（角度变化较小）。这种慢速变化对应于较长周期的正弦和余弦波，位置编码的相邻值之间差异不大。

- **直观理解**：低频成分对序列中长距离位置之间的变化较为稳定，能够更好地捕获远距离依赖关系。例如：句首单词如何影响句尾单词的关系。

---

### 2. **高频：短距离依赖**
在 RoPE 中，高频成分对应的是公式中 $ i $ 较大（即较高的维度），此时：

$$
\frac{1}{10000^{2i/d}}
$$

的值较小，导致 $ \theta_p $ 的变化很快（角度变化较大）。这种快速变化对应于较短周期的正弦和余弦波，位置编码的相邻值之间差异显著。

- **直观理解**：高频成分对序列中短距离的位置变化更敏感，能够精确捕捉局部上下文之间的依赖关系。例如：单词与其前后邻近单词的关系。

---

### 3. **旋转操作的作用**
RoPE 的旋转操作将输入特征向量的各个维度进行正弦和余弦的加权处理，让模型能够利用高频和低频成分来捕获不同尺度的位置信息：

- **高频部分的旋转（维度较高）**：赋予模型捕捉局部依赖的能力。
- **低频部分的旋转（维度较低）**：赋予模型捕捉远距离依赖的能力。

通过将这些高频和低频成分在旋转后的结果中叠加起来，RoPE 能够让 Transformer 既关注短距离模式（局部结构），也能理解长距离关系（全局依赖）。

RoPE 旋转位置编码 解析

我是一个专注技术分享的博主,尤其爱搞深度学习和单片机电子。你现在看到的是我的个人博客网站。