# 如何评估大语言模型（LLM）性能

训练了一个大型语言模型（LLM）后，接下来的关键问题就是如何评估模型的好坏。评估LLM的性能不仅涉及到对模型的语言生成能力的测量，还包括对其通用性、鲁棒性和适应性等多个维度的考察。

本文将从以下几个方面探讨评估LLM的常用方法，并介绍各种评估指标与实践技巧。





## 一、评估LLM的标准

为了衡量一个大语言模型的好坏，首先需要明确评估的标准。不同应用场景和任务要求下，模型的评估侧重点可能会有所不同。常见的评估标准有：

1. **生成质量**：模型生成的文本是否流畅、有逻辑，是否符合自然语言的语法和语义。
2. **准确性**：模型在特定任务中的正确率，如问答、翻译等。
3. **鲁棒性**：模型对各种输入数据是否表现稳定，如面对嘈杂数据或偏差输入时的表现。
4. **响应多样性**：模型生成的回答是否多样化，而不是过于重复或固定。
5. **推理能力**：模型是否能够进行复杂的推理和逻辑判断，超越简单的词汇和句子模式匹配。
6. **公平性和伦理性**：模型是否避免了偏见、歧视和错误信息的传播。

接下来我们将详细介绍几种常用的评估方法。

## 二、自动评估方法

### 1. 准确率、召回率和F1分数

对于有明确正确答案的任务（如分类、命名实体识别、机器翻译等），传统的评估指标包括：

- **准确率（Accuracy）**：模型预测正确的样本比例。

$$
Accuracy = \frac{TP + TN}{TP + TN + FP + FN}
$$

其中，$TP$表示真正例，$TN$表示真负例，$FP$表示假正例，$FN$表示假负例。

- **召回率（Recall）**：模型找出的正例占所有真实正例的比例。

$$
Recall = \frac{TP}{TP + FN}
$$

- **F1分数**：准确率和召回率的调和平均，用于平衡两者的评估。

$$
F1 = 2 \times \frac{Precision \times Recall}{Precision + Recall}
$$

这些指标适用于分类任务，但在生成任务中有时难以直接应用，因此需要进一步的生成质量评估方法。

### 2. BLEU（Bilingual Evaluation Understudy）

BLEU分数主要用于评估机器翻译任务，衡量模型生成文本与参考文本的相似度。其基本思想是统计生成文本与参考文本的n-gram重叠度，计算公式为：

$$
BLEU = BP \times \exp \left( \sum_{n=1}^{N} w_n \log p_n \right)
$$

其中，$p_n$表示n-gram的精度，$BP$是惩罚因子，防止生成文本过短。

### 3. ROUGE（Recall-Oriented Understudy for Gisting Evaluation）

ROUGE分数广泛用于摘要生成任务，尤其是ROUGE-N和ROUGE-L：

- **ROUGE-N**：基于n-gram匹配的召回率。
  
$$
ROUGE-N = \frac{\sum_{S \in \text{references}} \sum_{\text{n-gram} \in S} \min(\text{count}_{match}(n\text{-gram}), \text{count}_{ref}(n\text{-gram}))}{\sum_{S \in \text{references}} \sum_{\text{n-gram} \in S} \text{count}_{ref}(n\text{-gram})}
$$

- **ROUGE-L**：基于最长公共子序列（LCS）的召回率，捕捉到句子间的长距离依赖关系。

### 4. Perplexity

困惑度（Perplexity）是衡量语言模型生成文本流畅度的常用指标。困惑度越低，表示模型对数据的预测能力越强：

$$
PPL = 2^{-\frac{1}{N} \sum_{i=1}^{N} \log P(w_i)}
$$

其中，$P(w_i)$是语言模型对单词$w_i$的预测概率。

困惑度特别适用于自回归模型（如GPT系列）在语言建模任务中的评估，但对于文本生成的质量评估可能存在局限性。

## 三、人工评估方法

尽管自动化指标提供了方便快捷的评估方式，但它们通常难以全面捕捉生成文本的质量。因此，人工评估也是不可或缺的手段之一。常见的人工评估方法包括：

### 1. 流畅性与可读性

通过人工对生成文本的流畅性和可读性进行打分。流畅的文本应该具备：

- 语法正确
- 句子结构合理
- 无明显的逻辑错误或语言障碍

通常，流畅性可以通过1-5的打分机制进行测量，评审者对生成的文本进行主观评价。

### 2. 语义一致性

评估模型生成的文本是否与输入保持语义上的一致性。例如，在问答任务中，生成的答案应与问题相关；在翻译任务中，生成的翻译应准确传达原文意思。

### 3. 多样性

语言生成模型如果总是生成相似的答案，其多样性则不足。通过人工评估模型在不同场景下生成答案的差异性，可以衡量模型的创意和多样性。对于聊天机器人任务，这一指标尤其重要。

### 4. 人工Turing Test（图灵测试）

图灵测试是评估生成文本是否能够“欺骗”人类，使其无法判断文本是由机器还是人类生成。让多个评审者在不知道文本来源的情况下进行判断，从而评估模型的自然语言生成能力。

## 四、任务特定的评估方法

除了通用评估方法外，针对特定任务，可能还需要使用专门的评估技术。以下是几种常见任务的评估方法：

### 1. 机器翻译

机器翻译任务常用的评估方法是BLEU分数，但近年来也有更多基于语义评估的指标被提出，如：

- **METEOR**：结合了词形、同义词等信息，考虑到词序和词形变化。
- **BERTScore**：通过BERT嵌入来计算生成文本和参考文本的相似度。

### 2. 问答系统

对于问答系统，通常不仅关注答案的正确性，还需要评估回答的具体性和解释性。常用的评估方法包括：

- **EM（Exact Match）**：评估模型生成的答案与标准答案是否完全匹配。
- **ROUGE-L**：评估答案与参考答案之间的最长公共子序列匹配。

### 3. 摘要生成

对于摘要生成任务，ROUGE分数是常见的评估标准，此外还可以使用：

- **Content Overlap**：衡量生成摘要与参考摘要在内容上的重叠度。
- **Novelty**：评估生成的摘要是否提取了原文中的新信息。

## 五、模型鲁棒性与偏差测试

在评估LLM时，除了关注其性能指标，还需要确保模型的鲁棒性和公平性。例如，模型在面对异常输入或噪声数据时的表现是否稳定。为此，可以设计对抗样本或引入不同的数据分布进行测试。

### 1. 对抗样本测试

通过对输入数据进行微小的扰动，观察模型的输出是否发生显著变化。这种方法可以评估模型的稳定性和鲁棒性，尤其在文本分类、情感分析等任务中尤为重要。

### 2. 偏差与公平性测试

语言模型可能会继承训练数据中的偏见，因此在评估时需要特别关注模型是否存在性别、种族或文化上的偏见。通过构建偏见测试集或使用特定的公平性指标，可以帮助评估模型在这方面的表现。

## 六、实际应用中的评估

除了实验室中的定量评估外，在实际应用中模型的表现也是关键。可以通过以下方式进行实际应用评估：

### 1. 用户反馈

通过收集用户的反馈意见，了解模型在真实世界场景中的表现。用户体验的反馈可以反映出模型在不同场景下的适应性和表现质量。

### 2. A/B测试

在生产环境中，可以通过A/B测试来比较新模型与旧模型的表现差异。通过比较用户的点击率、满意度等指标，可以直观地评估模型的改进效果。

### 3. 成本与效率

最后，模型的实际运行效率和计算成本也是评

模型评估不仅仅关乎模型的性能表现，还包括成本和实际应用场景的匹配度。在现代大规模语言模型（LLM）评估中，我们通常不仅依赖于标准的自动化评估指标，还要通过人工评估、任务特定的评估方法，以及对模型的鲁棒性和公平性进行深入考察。以下是关于如何评估LLM性能的一些核心总结和实践建议：

## 评估模型的五个步骤总结：

1. **自动化评估**：如BLEU、ROUGE、Perplexity等常见评估指标是大规模模型性能的第一步。它们提供了快速的性能评估，但并不完美。
2. **人工评估**：对于复杂的生成任务，人工评估依然是不可或缺的，尤其在流畅性、语义一致性和多样性等方面。
3. **任务特定评估**：不同任务需要定制化的评估标准，例如翻译、摘要生成和问答系统。合理选择合适的评估指标可以更好地判断模型表现。
4. **鲁棒性测试**：通过对抗样本测试和公平性测试来检验模型在异常条件下的表现。
5. **实际应用评估**：在生产环境中进行用户反馈收集、A/B测试以及计算资源评估是验证模型是否满足商业应用需求的重要手段。

这些方法不仅可以帮助你衡量模型的当前表现，还能为后续的模型优化提供方向。通过结合自动化与人工评估、通用与任务特定的测试，以及实际应用场景下的验证，可以更全面、准确地评估LLM的好坏。

【深度学习】如何评估大语言模型（LLM）性能

## 探索大模型训练中的关键标签：system、user、role、content、assistant、observation、function

在大语言模型（如 GPT-4、GPT-5）的训练和使用过程中，标签（tags）起到了至关重要的作用。通过这些标签，模型能够理解并处理不同类型的信息，准确识别对话的角色、内容、功能调用以及外部工具交互。这些标签帮助模型保持对话的上下文连贯性，执行复杂任务并生成高质量的响应。在这篇博客中，我们将深入探讨七个重要的标签：**system**、**user**、**role**、**content**、**assistant**、**observation** 和 **function**，并探讨它们在大模型训练中的作用和重要性。




### 什么是标签？

在对话系统或大模型的训练过程中，标签（tags）是为不同类型的对话数据赋予特定含义的标记。每个标签代表特定的信息片段或操作，帮助模型理解对话结构和交互行为。这些标签在数据集构建和模型训练中起到了组织和分类的作用，使模型能够从大量数据中有效地学习。

### 七个关键标签的作用

#### 1. **System（系统）**

**定义**: "system" 标签用于为模型提供系统级的指导或规则，定义模型在对话中的行为或目标。系统提示告诉模型它应该如何回应用户，设定了对话的基础框架。

**举例**: 比如，一个系统提示可以是：“你是一个虚拟助手，你的任务是帮助用户回答与技术相关的问题。”

**作用**: 系统标签为模型提供了初始的指令和上下文，使得模型能够根据这些指令在对话中保持一致的行为。例如，在对话中，系统提示可以为模型设定特定的规则，如回答要简洁明了、不可偏离主题等。

**训练中的意义**: 在大模型训练时，系统提示（system prompt）为模型提供了背景信息，帮助模型确定它在对话中应该扮演的角色。这确保了模型能够保持上下文一致性，并为用户提供符合预期的回应。尤其在多轮对话中，明确的系统提示可以帮助模型更好地理解对话的框架和方向。

#### 2. **User（用户）**

**定义**: "user" 标签用来标记对话中由用户发出的输入。它表示模型的对话对象，也就是使用模型的用户所提供的信息或问题。

**举例**: 假设用户输入了：“如何提高我的编程能力？” 这个问题会被标记为用户输入。

**作用**: 用户标签告诉模型，这段内容是由用户提供的，因此模型需要分析并回应这个输入。它明确了模型的角色是回应用户的问题或请求。

**训练中的意义**: 用户标签在训练数据中区分了用户的输入与其他类型的输入（如系统指令或工具调用），这帮助模型理解它什么时候需要认真倾听并提供针对性回答。通过大量的标记训练，模型能够学会识别用户意图并生成适合的响应，从而提升用户体验。

#### 3. **Role（角色）**

**定义**: "role" 标签用于标记对话中不同实体的身份，如用户、助手、系统等。每个角色都有不同的任务和行为模式。

**举例**: 在一个对话中，用户输入的问题会被标记为“human”角色，而模型的回应则标记为“assistant”角色。

**作用**: 角色标签帮助模型理解不同对话参与者的身份，以及他们在对话中的任务。例如，用户是提问者，而助手是回答者。通过这些标签，模型能够更准确地为不同的对话参与者生成相应的内容。

**训练中的意义**: 角色标签的明确区分有助于模型适应多角色对话场景，确保它知道何时该生成回答，何时该继续等待输入。特别是在复杂的对话场景中，角色标签可以帮助模型在不同角色之间切换，提高对话的流畅性和一致性。

#### 4. **Content（内容）**

**定义**: "content" 标签用于标识对话的实际内容，即用户的输入或模型生成的文本。这是对话的核心信息。

**举例**: 用户输入的文本，如：“推荐一些机器学习的学习资料。” 就是对话的内容部分。

**作用**: 内容标签包含了对话的语义信息，是模型进行理解和生成的核心数据。通过分析内容标签，模型能够确定用户的具体需求和意图，并生成相应的答案。

**训练中的意义**: 内容标签为模型提供了直接的语言输入，帮助模型分析语义并生成高质量的响应。在训练中，通过对大量内容数据的学习，模型能够更好地理解自然语言，并生成与上下文高度相关的回答。

#### 5. **Assistant（助手）**

**定义**: "assistant" 标签标记模型本身的输出，表示模型扮演的是一个助手的角色，目的是帮助用户解决问题或提供建议。

**举例**: 当模型生成了回答：“你可以从 Coursera 或 edX 上找到优质的机器学习课程。” 这段内容会被标记为助手生成的文本。

**作用**: 助手标签明确了模型的角色是提供帮助和建议，它需要根据用户的输入生成有用的信息。通过标记助手的输出，模型可以在训练中学会如何作为一个助手提供支持。

**训练中的意义**: 在训练过程中，assistant 标签帮助模型区分用户输入与自己生成的内容。通过这种方式，模型可以更好地理解自己在对话中的任务，从而生成更加符合用户需求的响应。

#### 6. **Observation（观察）**

**定义**: "observation" 标签通常用于标记外部工具或系统返回的结果。它表示模型调用外部资源后的反馈信息。

**举例**: 如果模型调用了一个计算工具来求解数学问题，计算结果就会被标记为“observation”。

**作用**: 当模型需要通过外部工具获取信息时，观察标签标记了工具返回的数据。这帮助模型将外部工具的结果整合到对话中，使得对话能够包含更多复杂的推理和计算过程。

**训练中的意义**: 在训练过程中，observation 标签使模型能够处理复杂任务和工具调用。通过这些标签，模型可以学习如何从外部工具获取数据，并将其整合到对话中，为用户提供完整的回答。

#### 7. **Function（函数）**

**定义**: "function" 标签用于标记模型调用外部函数或工具的行为。它通常与“observation”标签配合使用。

**举例**: 当模型调用了一个天气API来获取某个城市的天气情况时，这个调用行为会被标记为“function”。

**作用**: 函数标签帮助模型执行复杂任务，例如调用外部API或使用某些功能模块。通过标记函数调用，模型能够进行更复杂的操作，超越简单的对话生成，执行实际任务。

**训练中的意义**: 通过训练，模型学习如何调用外部工具完成特定任务，并根据函数返回的结果生成回答。这使得模型在面对复杂请求时能够具备更高的灵活性和扩展性。

---

### 为什么训练大模型需要这些标签？

1. **提高对话上下文的理解**  
   标签提供了清晰的结构和上下文，帮助模型理解每个对话片段的角色和含义。通过这些标签，模型可以更好地区分用户的需求、系统的指令、助手的反馈以及外部工具的调用结果，从而在多轮对话中保持上下文一致性。

2. **明确任务与角色**  
   不同的角色标签让模型知道在对话中它该扮演什么角色，并如何处理不同角色的输入。例如，模型会根据用户的输入生成回答，而不会对系统提示进行生成，这大大提高了对话的流畅性。

3. **工具调用和任务执行**  
   现代大语言模型不仅能够生成文本，还可以通过调用外部工具或API来完成复杂任务。通过函数和观察标签，模型可以准确调用工具并处理返回的数据，使其具备了执行现实任务的能力。

4. **提升模型的多任务处理能力**  
   标签不仅帮助模型处理对话，还能够在多任务环境中高效工作。通过训练模型使用不同的标签，它可以在多个复杂的对话和任务之间进行切换，从而在处理多种类型的问题时表现出色。

5. **数据标注与分类**  
   在大模型的训练中，标签还用于为训练数据集进行分类和标注。通过精细化的标注，模型可以学习到更为复杂的对话模式和任务执行逻辑，从而显著提高模型的泛化能力和应用场景。


### 总结

在大语言模型的训练过程中，标签（tags）起到了不可或缺的作用。通过清晰定义对话中的不同元素和角色，标签为模型提供了结构和上下文支持，确保模型能够理解


## 如何发生作用

在大语言模型的训练和推理过程中，**System**语句（即系统提示）和其他标签（如**User**、**Role**、**Content**等）是如何输入给模型的？模型又是如何理解和区分这些不同标签的？这个问题涉及到自然语言处理模型的输入编码、结构化信息标注以及如何通过预训练来学习这些标签的不同功能。接下来，我将详细探讨这两个关键问题。

### 一、**System 语句如何给入到大模型中**

在对话系统中，**System**语句（系统提示）通常是一个帮助大模型理解当前对话框架的提示信息。它为模型提供初始背景信息，定义模型的行为规范或目标。我们可以通过几种不同的方式将**System**语句输入到大模型中：

#### 1. **直接作为对话的一部分输入**
最直接的方式是将**System**语句作为对话的开头，像普通文本一样输入给模型。例如，如果系统提示是“你是一个虚拟助手，帮助用户解决问题”，它可以被添加到对话流的最前面，并与其他用户输入和模型输出一起被处理。输入的数据流可能类似如下结构：

```json
{
  "role": "system",
  "content": "你是一个虚拟助手，帮助用户解决问题"
}
```

在这种情况下，系统提示可以作为对话的背景信息，直接影响模型的响应生成。模型将把它视为对话的一部分，并在生成后续响应时参考这个系统提示。

#### 2. **特殊的编码方式**
另一种方式是通过特殊的编码来引入**System**语句。例如，可以使用特殊的符号或标记来明确表示这个文本是系统提示，而不是普通对话。像在预训练阶段使用的句子分类任务中，我们可以用[CLS]（分类标记）等特殊标记来表示不同的输入类型。

在这种方式中，系统提示的输入可能会被用一些独特的标识符来区分，例如：

```plaintext
<SYSTEM>: 你是一个虚拟助手，帮助用户解决问题
```

大模型通过这些标记符，理解到这段文本是系统提示，而不是普通的用户或助手输入。通过这样的标记，大模型能够在处理过程中分辨这类提示信息。

#### 3. **嵌入到模型的上下文中**
**System**语句也可以通过嵌入的方式传递给模型。在某些架构中，系统提示的作用不仅限于对话的第一句话，而是作为隐含信息，在整个对话过程中被用来指导模型的行为。通过将系统提示嵌入上下文向量，模型能够持续参考这个系统提示。

这种方式下，系统提示可能不会直接显示在每个模型的输入序列中，而是在模型的上下文编码中保留。具体实现可能涉及对输入序列中隐藏状态的调整，确保模型在生成每一步时都能参考系统提示。

### 二、**大模型如何区分不同的标签（tags）**

大语言模型并不是天生能够理解诸如**User**、**Assistant**、**Content**、**System**、**Observation**等标签的不同意义。这些能力是通过**预训练**和**微调**过程中学到的。让我们来详细探讨大模型如何通过训练区分这些标签，以及这些标签如何在输入处理中扮演不同的角色。

#### 1. **基于标记的输入格式**
一种非常常见的方式是给每个输入标签都添加特定的标记（Token），通过不同的标记使模型能够区分输入的不同角色和功能。例如，在对话系统中，模型可能会通过以下方式接受不同标签的输入：

- **User（用户）** 输入：
  ```plaintext
  <USER>: 我想知道今天天气怎么样？
  ```
- **Assistant（助手）** 回复：
  ```plaintext
  <ASSISTANT>: 今天天气晴朗，气温大约在25摄氏度左右。
  ```
- **System（系统提示）**：
  ```plaintext
  <SYSTEM>: 你是一个虚拟助手，帮助用户解决问题。
  ```

通过这种基于标记的输入格式，大模型可以通过这些特定的标签（如 `<USER>`、`<ASSISTANT>` 等）来理解输入的角色和作用。

#### 2. **编码和位置嵌入（Positional Encoding）**
另一种常见的技术是**位置嵌入**（Positional Encoding）。在大模型中，每个输入词通常都会有一个对应的向量表示（**embedding**），并且模型会根据输入的词在序列中的位置进行编码。在包含角色或功能标签的输入序列中，不同的标签会对应不同的编码，从而帮助模型区分这些标签。

例如，一个标注为“User”的输入可能会带有一个与“Assistant”输入不同的嵌入向量或位置信息，从而使模型能够区分这些不同的角色。

对于这种实现，标签的信息被嵌入到模型的编码空间中，大模型通过**自注意力机制**来理解并区分不同标签的含义。通过多轮训练，模型能够学会如何根据这些位置和角色标签做出不同的响应。

#### 3. **训练时的明确标注**
在模型训练过程中，数据集会明确标注每个输入的角色。例如，在对话数据中，训练数据会通过以下方式明确地标注输入和输出：

```json
{
  "role": "user",
  "content": "请推荐一些机器学习的书籍。"
},
{
  "role": "assistant",
  "content": "你可以阅读《机器学习实战》和《深度学习》。"
}
```

通过大量带有这种标签标注的数据，模型会在训练过程中学会如何基于这些不同的角色做出响应。模型会学习到，**“user”**角色通常提出问题或发出请求，而**“assistant”**角色需要生成回答或提供帮助。

#### 4. **通过任务微调学习标签的作用**
在微调阶段，模型不仅通过输入的标记和位置嵌入来理解标签，还通过特定任务的设计来进一步区分标签的作用。比如，在微调过程中，模型可能会被专门训练去理解不同的对话角色如何相互作用。

例如，**System**提示通常会出现在对话的开头，而用户的输入通常需要被模型认真分析和理解。通过任务微调，模型可以学会如何使用这些标签，如何基于系统提示来调整它的行为，如何根据用户输入生成合适的回答，如何理解函数调用和外部工具的结果。

#### 5. **自注意力机制的工作原理**
在大语言模型（如GPT架构）中，**自注意力机制**是理解和处理这些标签的关键。自注意力机制通过分析整个输入序列中的所有词汇和标记之间的关系，确定哪些信息是相关的。通过这种机制，模型不仅能够理解文本的语义，还能够将标签信息与文本内容联系起来。

例如，当模型处理“system”提示时，自注意力机制可以帮助模型聚焦在这个提示上，并将其与用户的输入联系起来，从而在生成回答时参考系统提示的信息。

### 三、如何区分复杂的对话场景

在真实应用中，复杂对话场景通常涉及多个角色、多轮对话和外部工具调用。为了处理这些复杂场景，标签的使用显得尤为重要。

#### 1. **多轮对话中的角色管理**
在多轮对话中，**Role**标签帮助模型保持对不同参与者的清晰理解。比如，用户可能多次提问，模型通过“User”标签清楚地知道这些输入都是来自用户的，而“Assistant”标签则标识模型自己生成的回答。

通过自注意力机制和嵌入向量，模型能够记住角色之间的互动，并在生成回答时考虑到整个对话的上下文。

#### 2. **外部工具调用的区分**
在涉及外部工具调用的任务中，**Function**和**Observation**标签非常关键。模型可以根据这些标签明确知道它何时需要调用外部工具（如API查询），何时需要处理工具返回的结果（观察）。

例如，当模型调用了一个天气API，它可以通过观察（observation）标签接收到API的返回值。随后，模型会根据这个返回值生成对用户的问题的回答。

### 总结

大模型通过标记化的输入、位置编码、训练时的标签标注和自注意力机制来区分不同的标签（如**System**、**User**、**Role**等）。这些标签为模型提供了结构和角色信息，帮助它理解对话的复杂性，并在多轮对话中保持上下文一致性。在训练过程中，模型通过大量带有标签的标注数据，学会如何根据不同的标签生成合适的回答，并执行复杂任务，如调用外部工具和处理函数结果。

【深度学习】探索大模型训练中的关键标签：system、user、role、content、assistant、observation、function

PPO（Proximal Policy Optimization，近端策略优化）是一种强化学习算法，由OpenAI于2017年提出，主要用于解决强化学习中策略更新时的不稳定性问题。PPO是深度强化学习领域中非常流行的一种策略优化方法，因其高效性和稳定性，广泛应用于许多复杂任务中，如机器人控制、视频游戏AI和自然语言处理等。

### 背景与问题
在强化学习中，智能体（agent）通过与环境交互，学习一个策略（policy），以便最大化累积奖励。经典的强化学习方法如策略梯度（Policy Gradient）和Q学习（Q-Learning）在策略更新时会遇到一些问题：

1. **策略更新过大**：当策略在更新时，如果变化过大，可能会导致策略的性能急剧下降，甚至偏离最优解。这种不稳定性使得算法在许多复杂环境下表现不佳。
2. **样本效率低**：在高维度环境中，传统的强化学习方法往往需要大量的样本才能找到较好的策略，样本效率较低。





### PPO的主要思想
PPO的主要目标是解决策略更新中的不稳定性问题。PPO通过对策略更新进行约束，确保每次策略更新不会偏离当前策略过远。这种方法使得更新过程更加稳定，同时保留了较高的学习效率。

PPO结合了策略梯度和信任域策略优化（Trust Region Policy Optimization, TRPO）的优势。与TRPO相比，PPO的实现更加简单，且能达到相似甚至更好的效果。PPO的核心思想可以分为以下几点：

1. **目标函数（Objective Function）**：PPO引入了一个修正后的目标函数，用于限制策略更新的幅度。传统的策略梯度方法直接优化策略，但这种方式容易导致大的策略变化。而PPO通过限制新旧策略的比率，避免了策略发生过大的更新。

2. **策略裁剪（Clipping）**：PPO使用了一种称为“裁剪”（clipping）的技术，对策略变化的范围进行约束。具体来说，PPO会限制策略变化的比率，使其在一个预定义的区间内。如果策略变化超出该区间，PPO会放弃这种更新。这种方式既能保证策略的稳定性，又能提高学习效率。

3. **多次更新（Multiple Updates）**：PPO允许在同一批数据上进行多次策略更新，从而提高数据的利用效率。传统的策略梯度方法通常只进行一次更新，而PPO能够多次使用同一批样本，从而提升了样本效率。

### PPO的算法流程
PPO的训练流程与其他策略优化算法类似，主要包括以下几个步骤：

1. **与环境交互**：智能体在当前策略下与环境交互，生成一个轨迹（trajectory），即一系列的状态、动作和奖励。
  
2. **计算优势函数（Advantage Function）**：PPO使用优势函数来估计当前策略相较于基准策略的表现提升。优势函数能够衡量某个动作在某个状态下的相对价值，是策略更新的关键。

3. **更新策略**：通过最大化PPO的目标函数，智能体对策略进行更新。PPO的目标函数结合了裁剪机制，确保策略更新的幅度不会过大。

4. **重复迭代**：重复上述步骤，直到智能体在环境中的表现达到预期的标准或停止条件。

### 关键技术细节
PPO的设计旨在解决策略更新时的平衡问题：既要让策略更新能有效提高表现，又要避免策略发生过大的变化。以下是PPO中几个关键技术点的解释：

1. **裁剪比率在目标函数中的应用**：PPO 引入了一个裁剪比率来限制新策略与旧策略的差异幅度，避免策略更新过大。假设旧策略为 $ \pi_{\text{old}} $，新策略为 $ \pi $，裁剪比率 $ r(\theta) $ 定义为：

    $$
    r(\theta) = \frac{\pi(a|s; \theta)}{\pi_{\text{old}}(a|s; \theta_{\text{old}})}
    $$

    PPO 对比率 $ r(\theta) $ 进行限制，使其保持在 1 附近（通常范围设定为 0.8 到 1.2），以防止新旧策略间的变化过大，从而自动抑制极端策略更新。

2. **样本效率提升**：PPO 的策略允许对同一数据进行多次梯度更新，极大地提高了样本效率。在实际应用中，数据获取成本往往较高，因此样本效率的提升具有显著的实用价值。

3. **优势估计（Advantage Estimation）**：PPO 通常使用广义优势估计（GAE）来更精确地估计优势函数。GAE 对奖励在时间维度上进行加权平滑处理，有效减少策略估计中的方差，从而提高算法的稳定性。

### PPO的优缺点
#### 优点：
1. **易于实现**：相比于其他强化学习算法如TRPO，PPO的实现相对简单且计算效率高。
2. **稳定性强**：通过裁剪机制，PPO在策略更新时保持了较好的稳定性，避免了策略更新时的剧烈变化。
3. **高样本效率**：PPO能够在相同的数据上进行多次更新，提高了样本的利用率。
4. **适应性强**：PPO适用于多种复杂的任务，表现出很好的通用性。

#### 缺点：
1. **超参数调优困难**：PPO虽然相对简单，但在实际应用中，其性能对超参数（如裁剪范围、学习率等）非常敏感，可能需要大量实验来找到最佳的超参数设置。
2. **对策略随机性的依赖**：PPO假设策略是随机的（即带有一定的概率分布），因此在确定性策略问题中可能不如一些专门针对该类问题的算法。

### PPO的应用
PPO在许多复杂环境和任务中表现出了优异的性能，特别是在需要高效策略优化的任务中。以下是PPO的几个典型应用：

1. **机器人控制**：PPO被广泛应用于机器人控制任务中，包括机械臂的运动控制和自动驾驶等。其高效的策略更新和稳定性，使得机器人能够在复杂的动态环境中学习有效的动作策略。
  
2. **游戏AI**：PPO在强化学习中的表现也使其成为开发游戏AI的理想选择。例如，OpenAI使用PPO训练了Dota 2的AI，并且在多人竞技场中与人类顶级玩家进行对抗，取得了很好的效果。

3. **自然语言处理**：在语言模型的训练中，PPO被用来优化生成文本的策略。特别是在一些对话系统和文本生成任务中，PPO通过与环境交互，学习如何生成更自然、连贯的文本。

4. **推荐系统**：PPO也被应用于推荐系统中，通过与用户交互，学习个性化的推荐策略，从而提高用户的满意度和系统的推荐效果。

### 总结
PPO作为一种高效且稳定的策略优化算法，解决了传统策略梯度方法中策略更新不稳定的问题，适用于多种复杂的强化学习任务。其核心思想在于通过裁剪比率，限制策略变化的幅度，从而保证策略的渐进优化。PPO在实际应用中表现出良好的效果，尤其是在机器人控制、游戏AI和自然语言处理等领域。

PPO的成功也进一步推动了强化学习领域的发展，其易于实现和良好的样本效率使得它成为了许多研究和应用的首选算法。尽管PPO在超参数调优方面存在一定的挑战，但它仍然是目前最为流行和有效的强化学习算法之一。

【深度学习】什么是PPO训练?

分享issues：

https://github.com/hiyouga/LLaMA-Factory/issues/5398

从中获取到Deepspeed zero 3 在如何使用。





## Freeze Method Log:


```bash
deepspeed --include localhost:0,1,2,3 --master_port=19915 src/train.py  \
    --deepspeed ./mine/ds_z3_config.json \
    --stage pt \
    --model_name_or_path /tmp/Qwen2-72B-Instruct \
    --do_train \
    --dataset xxx \
    --template qwen \
    --finetuning_type freeze \
    --freeze_trainable_layers 3 \
    --freeze_trainable_modules all \
    --output_dir xxx \
    --overwrite_cache \
    --per_device_train_batch_size 1 \
    --gradient_accumulation_steps 64 \
    --lr_scheduler_type cosine \
    --logging_steps 10 \
    --save_steps 100 \
    --learning_rate 1e-5 \
    --num_train_epochs 6.0 \
    --plot_loss \
    --preprocessing_num_workers 48 \
    --bf16 \
    --tokenized_path xxx \
    --cutoff_len 8000 \
    --ddp_timeout 18000 \
    --save_total_limit 5
```
1. Set trainable layers: 77,78,79
2. trainable params: 2633054208 || all params: 72706203648 || trainable%: 3.6215
3. epochs:10
4. train_runtime = 20:36:14.47
5. train_samples_per_second = 1.051
6. train_steps_per_second = 0.008



## LoRA Method Log:

```bash
deepspeed --include localhost:0,1,2,3,4,5,6,7 --master_port=25091 src/train.py  \
    --deepspeed ./mine/ds_z3_config.json \
    --stage pt \
    --model_name_or_path /tmp/Qwen2-72B-Instruct \
    --do_train \
    --dataset xxx \
    --template qwen \
    --finetuning_type lora \
    --lora_target q_proj,v_proj \
    --output_dir xxx \
    --overwrite_cache \
    --per_device_train_batch_size 1 \
    --gradient_accumulation_steps 32 \
    --lr_scheduler_type cosine \
    --logging_steps 10 \
    --save_steps 100 \
    --learning_rate 1e-4 \
    --num_train_epochs 6.0 \
    --plot_loss \
    --preprocessing_num_workers 48 \
    --bf16 \
    --tokenized_path xxx \
    --cutoff_len 8000 \
    --ddp_timeout 18000 \
    --save_total_limit 10 \
    --save_only_model
```

1. trainable params: 16384000 || all params: 72722587648 || trainable%: 0.0225
2. epochs:6
3. train_runtime = 1 day, 8:57:44.99
4. train_samples_per_second = 0.394
5. train_steps_per_second = 0.002

## Deepspeed：

```bash
{
  "train_batch_size": "auto",
  "train_micro_batch_size_per_gpu": "auto",
  "gradient_accumulation_steps": "auto",
  "gradient_clipping": "auto",
  "zero_allow_untested_optimizer": true,
  "fp16": {
    "enabled": "auto",
    "loss_scale": 0,
    "loss_scale_window": 1000,
    "initial_scale_power": 16,
    "hysteresis": 2,
    "min_loss_scale": 1
  },
  "bf16": {
    "enabled": "auto"
  },
  "zero_optimization": {
    "stage": 3,
    "overlap_comm": true,
    "contiguous_gradients": true,
    "sub_group_size": 1e9,
    "reduce_bucket_size": "auto",
    "stage3_prefetch_bucket_size": "auto",
    "stage3_param_persistence_threshold": "auto",
    "stage3_max_live_parameters": 1e9,
    "stage3_max_reuse_distance": 1e9,
    "stage3_gather_16bit_weights_on_model_save": true
  }
}
```


lora requires more activation recomputes. see https://arxiv.org/pdf/2403.13372

【深度学习】LLaMA-Factory，Why is LoRA much slower than Freeze?

【深度学习】使用ms-swift微调训练Qwen2-VL做印章识别

我是一个专注技术分享的博主,尤其爱搞深度学习和单片机电子。你现在看到的是我的个人博客网站。