【深度学习】torch.distributed.launch、torchrun、accelerate 和 deepspeed 对比解析

在深度学习、大规模并行计算等高性能计算场景中，多机多卡训练（multi-node, multi-GPU training）是关键技术之一，它能够大幅提升训练速度并处理超大规模数据集。然而，在多机多卡的分布式训练中，如何实现各个计算单元之间的高效通信和数据传输是一个非常重要的问题。本文将基于以下几个技术点来详细探讨如何构建多机多卡的训练环境：NVLink、RDMA、NCCL_IB_DISABLE，并分析这些技术如何在分布式训练中确保高效的数据通信。





### NVLink 技术

NVLink 是 NVIDIA 开发的一种高带宽、低延迟的互连技术，主要用于 GPU 之间、GPU 和 CPU 之间的数据传输。传统的 PCIe（Peripheral Component Interconnect Express）总线限制了 GPU 间的数据传输速率，而 NVLink 通过提供比 PCIe 更高的传输带宽，显著提高了多 GPU 计算系统中的数据交换效率。

#### NVLink 的技术优势：
1. **高带宽**：NVLink 的每条链路的传输带宽可以达到 25-600 GB/s，这相比 PCIe 4.0 的 16 GB/s 带宽有显著提升。多个 NVLink 链路可以并行工作，进一步提高了数据传输的总带宽。
   
2. **低延迟**：NVLink 提供的低延迟数据传输，使得多 GPU 系统能够更快速地交换数据，减少因数据传输而带来的性能损耗。
   
3. **GPU 直接通信**：在多 GPU 系统中，NVLink 允许 GPU 直接通信，而无需通过 CPU 中转数据。这一特性对深度学习等需要大量数据交换的并行计算任务非常有利。例如在训练大型神经网络时，多 GPU 间的大量参数更新可以通过 NVLink 实现快速传输，避免了 PCIe 总线的瓶颈。
   
4. **内存共享**：NVLink 允许 GPU 之间共享内存空间，这意味着一个 GPU 可以直接访问另一个 GPU 的内存。这对于需要处理超大数据集（如自然语言处理中的超大模型或图像处理中的高清图片数据）尤其有用。

#### NVLink 在多机多卡环境中的应用：
在单机多卡的情况下，NVLink 通常用于 GPU-GPU 之间的通信。通过多条 NVLink 连接，多个 GPU 可以组成一个强大的计算集群，共享计算任务并交换数据。举例来说，NVIDIA A100 GPU 支持 12 条 NVLink 链路，通过这些链路可以实现总计 600 GB/s 的带宽，这在 AI 训练和高性能计算中是非常关键的。

然而，NVLink 的一个局限性是它仅适用于同一台物理机器中的 GPU 互连。对于多机多卡的训练环境，跨机器的 GPU 通信需要依赖其他技术，如 RDMA 或 InfiniBand。

### RDMA 技术

RDMA（Remote Direct Memory Access，远程直接内存访问）是一种用于计算机网络中的高效通信技术，允许一台计算机直接访问另一台计算机的内存，而不需要操作系统的干预。RDMA 的引入极大地提高了数据传输的效率，降低了延迟，并减轻了 CPU 的负载，是构建多机多卡训练环境中跨机器通信的核心技术之一。

#### RDMA 的技术优势：
1. **低延迟**：通过绕过传统的操作系统和网络协议栈，RDMA 使得数据可以直接从一台机器的内存传输到另一台机器的内存，极大地减少了通信的延迟。这种直接内存访问方式非常适合深度学习中的大规模并行计算任务。
   
2. **高吞吐量**：RDMA 支持多通道并发的数据传输，可以大幅提升网络带宽的利用率。相比于传统的 TCP/IP 通信，RDMA 可以实现更高效的大数据传输，尤其是在大型数据集的跨机器通信中。
   
3. **低 CPU 占用**：在传统的网络通信中，CPU 需要参与大量的协议处理（如 TCP/IP 协议栈），而 RDMA 通过消除这些协议处理，将更多计算资源留给 GPU 和内存之间的数据传输，从而减轻了 CPU 的负担。

#### RDMA 在多机多卡训练中的应用：
在多机多卡的分布式训练环境中，GPU 通常位于不同的物理节点上，这时需要通过网络进行数据传输。RDMA 通过支持远程直接内存访问，可以有效解决跨节点 GPU 通信中的高延迟问题。

例如，当使用 PyTorch 或 TensorFlow 等深度学习框架进行分布式训练时，模型参数和梯度信息需要在多个节点之间同步。通过 RDMA 技术，这些数据可以以低延迟、高吞吐量的方式在节点之间传输，从而加速分布式训练过程。RDMA 通常依赖于 InfiniBand 或 RoCE（RDMA over Converged Ethernet）等硬件技术实现，因此在构建多机多卡环境时，确保系统支持这些硬件是关键步骤之一。

### NCCL 和 NCCL_IB_DISABLE

NCCL（NVIDIA Collective Communications Library）是一个用于多 GPU 通信的高性能库，常被应用于深度学习框架中，用于实现高效的数据同步和跨 GPU 通信。在多机多卡训练中，NCCL 是确保各个 GPU 节点间高效通信的核心工具之一。NCCL 支持多种通信方式，包括 NVLink、PCIe、RDMA 等。

#### NCCL_IB_DISABLE 环境变量的作用：
NCCL_IB_DISABLE 是 NCCL 库中的一个环境变量，用于控制是否启用基于 InfiniBand 的通信支持。其作用如下：

- **NCCL_IB_DISABLE=0**：默认情况下，NCCL 将会使用 InfiniBand 进行通信。如果系统中有 InfiniBand 硬件，并且相关驱动和库安装正确，NCCL 会自动启用基于 RDMA 的 InfiniBand 通信。这种方式可以大幅提高通信效率，降低延迟，特别适用于多机多卡的分布式训练。
  
- **NCCL_IB_DISABLE=1**：如果禁用 InfiniBand，NCCL 将使用其他通信方式，如 TCP/IP 或 PCIe。这在一些没有 InfiniBand 支持的环境中很有用，或者当遇到 InfiniBand 相关的故障时，可以通过禁用 InfiniBand 来进行故障排查。

#### 如何使用 NCCL_IB_DISABLE：
在分布式训练中，NCCL 可以自动选择最优的通信方式。但在某些情况下，用户可能需要手动调整通信模式，特别是在性能调优或排查问题时。例如，当系统配置不支持 InfiniBand 或者需要排查 InfiniBand 相关的网络故障时，可以通过设置 NCCL_IB_DISABLE=1 来禁用 InfiniBand，并改用其他通信协议。

### 如何构建多机多卡训练环境

要构建一个高效的多机多卡训练环境，以下是关键步骤和要点：

#### 1. 硬件准备
- **NVLink**：对于单机多卡的环境，确保所用的 GPU 支持 NVLink 并正确连接。现代的 NVIDIA GPU（如 A100 或 V100）通常支持 NVLink。
- **RDMA 和 InfiniBand**：在多机多卡的环境中，确保每台机器都配备了 InfiniBand 网络卡，并支持 RDMA。InfiniBand 提供了 RDMA 所需的低延迟、高带宽网络连接。此外，还需安装并配置相关的驱动程序（如 Mellanox 提供的驱动）以及网络管理工具。
  
#### 2. 软件配置
- **NVIDIA 驱动程序**：确保每台机器都安装了最新版本的 NVIDIA GPU 驱动程序。
- **NCCL 库**：安装并配置 NCCL 库，NCCL 可以自动检测系统中的通信硬件（如 NVLink 或 InfiniBand）并选择最佳的通信方式。如果使用 RDMA，请确保 NCCL 支持 InfiniBand，并根据需要配置 `NCCL_IB_DISABLE` 环境变量。
- **深度学习框架**：确保所使用的深度学习框架（如 TensorFlow、PyTorch）正确集成了 NCCL 库，并支持分布式训练。

#### 3. 网络配置
- **InfiniBand 配置**：在多机环境中，配置 InfiniBand 网络。包括设置 IPoIB（IP over InfiniBand）和 RDMA 驱动程序，以确保低延迟、高带宽的网络通信。
- **RoCE 配置**：如果没有 InfiniBand 网络卡，可以考虑使用 RoCE（RDMA over Converged Ethernet）技术，它允许在常规以太网上实现 RDMA 通信，但要求网络设备支持 RoCE。

#### 4. 性能优化
- **调优通信方式**：通过调整 NCCL_IB_DISABLE 环境变量来调优通信方式。默认情况下，N

CCL 会选择最优的通信方式，但在某些情况下，手动禁用 InfiniBand 可能会带来性能上的提升，特别是在某些网络环境下。
- **优化 GPU 负载**：确保多 GPU 任务的负载平衡，以避免某些 GPU 出现过载或闲置。

### 总结

构建多机多卡训练环境涉及多个关键技术，其中 NVLink 在单机多卡通信中发挥重要作用，而 RDMA 和 InfiniBand 则是多机多卡通信的核心技术。NCCL 通过整合这些通信方式，提供了高效的 GPU 通信库，使得多 GPU 训练更加高效。在配置多机多卡训练环境时，需要特别注意硬件支持、网络配置以及软件驱动的安装和调优。通过合理使用 NVLink、RDMA 和 NCCL，研究人员可以显著提高大规模深度学习训练的效率。


----

商家让你在容器中执行 `sudo apt-get install libibverbs1`，并提到这样做可以让 Kubernetes (K8s) 调用 `NCCL_IB_DISABLE` 环境变量。这涉及到在多机多卡训练环境中使用 **RDMA**（远程直接内存访问）技术来优化通信效率。为了更好理解，下面将从技术角度解释这些操作以及它们对分布式训练环境的影响。

### 背景：RDMA 和 InfiniBand 在分布式训练中的作用

首先，需要明确的是，在分布式训练（尤其是多机多卡训练）中，各节点之间的数据通信是影响训练性能的关键因素。传统的 TCP/IP 通信虽然适用于一般的网络，但对于需要处理大规模数据的深度学习来说，效率较低。RDMA 提供了一种更高效的通信机制，允许节点直接访问彼此的内存，而不需要通过操作系统和 CPU 进行数据拷贝。

为了使用 RDMA 技术，你的系统通常需要支持 **InfiniBand** 硬件，并安装必要的驱动和库来实现 RDMA 功能。

### `libibverbs1` 是什么？

`libibverbs1` 是一个用户空间库，它提供了对 **RDMA（Remote Direct Memory Access）** 技术的支持。具体来说，它提供了一个 API，用于应用程序通过 InfiniBand 等硬件设备访问远程节点的内存。在 Linux 系统上，RDMA 技术依赖于一组专用的内核模块和用户空间库，这些库包括 `libibverbs1`。

通过安装 `libibverbs1`，你为容器中的应用程序提供了访问 RDMA 功能的能力。这对于像 NCCL（NVIDIA Collective Communication Library）这样的库来说至关重要，尤其是在多机多卡训练环境中，RDMA 可以显著提高通信性能。

### `NCCL_IB_DISABLE` 和 RDMA

NCCL 是 NVIDIA 专门为多 GPU 环境设计的高效通信库，主要用于分布式深度学习训练。NCCL 支持多种通信方式，包括 PCIe、NVLink、TCP/IP，以及通过 InfiniBand 网络的 RDMA。

`NCCL_IB_DISABLE` 是 NCCL 库中的一个环境变量，用于控制是否启用基于 **InfiniBand** 的 RDMA 通信。

- 如果 `NCCL_IB_DISABLE=0`（默认情况下），并且系统中存在 InfiniBand 硬件和正确配置的 RDMA 环境，NCCL 将自动使用 RDMA 进行数据通信。
- 如果 `NCCL_IB_DISABLE=1`，NCCL 将禁用 RDMA，改为使用其他通信方式（例如 TCP/IP）。

RDMA 通过减少 CPU 负担、绕过操作系统和传统网络栈，能够极大地提升节点间数据传输的速度和效率。特别是在深度学习中的大规模模型训练中，多个 GPU 需要频繁交换参数和梯度，RDMA 能够加速这些通信过程，减少延迟，从而提高整个分布式系统的计算效率。

### 容器中安装 `libibverbs1` 的原因

在 Kubernetes（K8s）环境中，容器化技术是常见的部署方式，特别是在多节点、多 GPU 训练集群中。为了让容器能够使用底层的 InfiniBand 和 RDMA 功能，必须在容器内安装必要的驱动和库，包括 `libibverbs1`。

**主要原因如下：**

1. **RDMA 支持**：`libibverbs1` 是访问 RDMA 功能的基础库。容器中的应用程序需要这个库来与硬件层的 RDMA 技术进行交互，从而在多机多卡训练中实现高效的数据通信。

2. **K8s 调度优化**：Kubernetes 是一种流行的容器编排系统，用于自动化部署、扩展和管理容器化应用。通过安装 `libibverbs1`，K8s 可以调度支持 RDMA 的容器，并使其能够利用 `NCCL_IB_DISABLE=0` 的配置，从而自动使用 RDMA 进行高效通信。

3. **NCCL 与 InfiniBand 的集成**：NCCL 在分布式训练中广泛应用，它会自动检测系统中的通信硬件（如 InfiniBand）并选择最佳的通信方式。如果检测到 `libibverbs1` 和 RDMA 环境，它将使用 RDMA 来优化 GPU 之间的数据传输。安装这个库能够确保 NCCL 在容器内启用 InfiniBand 通信。

4. **容器化的兼容性问题**：默认情况下，容器内并不总是包含所有与底层硬件交互所需的驱动和库。因此，在容器中手动安装 `libibverbs1` 是为了确保容器能够与主机系统的 InfiniBand 硬件兼容，使得容器中的训练任务可以充分利用 RDMA 的高效通信特性。

### Kubernetes 如何利用 RDMA 和 NCCL_IB_DISABLE

Kubernetes 通常用于管理大规模的分布式计算集群。在多机多卡的训练环境下，K8s 将多个 GPU 容器分布到不同的物理节点上。通过使用 RDMA，K8s 能够更高效地调度这些容器之间的数据传输，特别是在跨节点的 GPU 通信场景下。

配置 `NCCL_IB_DISABLE=0` 可以让 NCCL 使用 InfiniBand 网络中的 RDMA 来加速数据传输，而不是默认的 TCP/IP 协议。这种配置在以下情况下尤为重要：

1. **跨节点通信**：K8s 在不同的物理节点上调度容器时，跨节点的数据传输是一个瓶颈。RDMA 可以在节点之间实现低延迟、高带宽的通信，从而加速分布式训练。

2. **资源调度**：K8s 可以根据硬件的可用性来动态调度支持 RDMA 的容器。通过安装 `libibverbs1`，K8s 能够确保调度的容器可以与主机上的 RDMA 网络接口兼容，利用 RDMA 加快训练速度。

3. **高性能训练任务**：对于大规模深度学习任务，如 GPT-3 这样的超大模型训练，模型参数和梯度的交换量巨大。RDMA 在这种情况下能够显著提升数据交换的效率，减少训练时间。

### 总结

安装 `libibverbs1` 是为了确保容器能够利用 RDMA 技术进行高效的数据通信，而 `NCCL_IB_DISABLE` 环境变量的设置则控制了是否启用 InfiniBand 和 RDMA。在多机多卡训练环境中，使用 RDMA 可以极大提升节点间的通信性能，特别是在大规模深度学习训练任务中，这对提升整体计算效率至关重要。

因此，商家让你在容器中安装 `libibverbs1` 的目的是为了确保容器能够正确使用 RDMA 功能，并通过 Kubernetes 有效调度支持 RDMA 的训练任务，从而实现跨节点 GPU 的高效通信和同步。如果容器中缺少这些库，容器内的 NCCL 可能无法利用 RDMA 技术，导致训练过程中的数据传输效率较低。

多机多卡训练中的极速数据互联：NVLink、RDMA与NCCL配置详解

FakeLocation 可以辅助Android的一些便捷开发，但有时候打开后就有强制更新弹窗，很烦人。


看b站教程，可以用magisk+lsposed 里阻止弹窗，我以小米6测试一下如何使用。

LSPosed 安装教程的总纲是这样：
https://github.com/LSPosed/LSPosed/wiki/%E5%A6%82%E4%BD%95%E4%BD%BF%E7%94%A8







## 小米6系统刷机

小米6刷机，解锁 Bootloader ，获取完全的root权限。

这个搜一下网上教程即可，可以用奇兔助手之类的。



## 教你辨别小米和华为手机bootloader是否解锁

http://rom.7to.cn/jiaochengdetail/16890

方法一

进入设置-更多设置-开发者选项-设备解锁状态（开发者选项打开方法：设置-我的设备-全部参数-点击7次MIUI版本）
如果已解锁会显示 “当前设备已解锁”

方法二

如果手机已解锁，开机进入动画前最下方会显示“unlock”或“bootloader unlock”

方法三

如果以上方法均无法查询，请使用adb命令检查

1. 1）将手机关机，先按住音量减再同时按住电源键进入fastboot模式并连接电脑
2. 2）打开线刷大师或奇兔刷机-实用工具-adb命令行
3. 3）在adb窗口输入以下命令并回车 fastboot oem device-info

当显示 Device unlocked: true 则表明已解锁



## Windows10 安装驱动

Windows10需要安装 adb fastboot 驱动程序， AndroidStdio里面的SDk安装后就有E:\Sdk\platform-tools，这里面就有一些常用的工具。

adb借助usb就直接用了，但是fastboot需要装驱动。查看这里的介绍安装https://bbs.oneplus.com/thread/5927219

对我而言，win10里面的可选更新都选上后，然后更新win10系统就可以了。

fastboot 驱动程序是用在什么地方？：当你执行`.\adb reboot bootloader` 之后，你的手机会进入bootloader模式（黑屏上面有个维修机器人），这个模式下手机其实就是个单片机，你没驱动是无法连接手机的。你要是驱动正常，`.\fastboot reboot` 是可以重启手机的。

## Magisk 安装办法

教程https://sspai.com/post/53043/

在电脑上配置好 adb 环境 并解开 Bootloader 锁后，如果你的设备有来自 TWRP 的官方支持，只需在打开 USB 调试后将手机与电脑相连，然后打开电脑端的命令行窗口：

1. 执行 adb reboot bootloader 进入 Bootloader 界面
2. 执行 fastboot boot TWRP.img 进入临时 TWRP
3. 在 TWRP 中刷入你下载的 Magisk 安装包

没有官方 TWRP 支持的设备安装 Magisk 的步骤要稍微复杂一些：

1. 从你的刷机包中提取当前固件的 boot.img 文件，将它传入到安装了 Magisk Manager 的手机中
2. 进入 Magisk Manager —— 安装（install）—— install —— 修补 boot 镜像文件，这一步做好后，一般文件在Download下面。
3. 然后选择传入的 boot.img 文件进行生成，并将生成后的 Patchedboot.img （姑且这么命名） 传输到电脑上。
4. 打开命令行窗口
5. 执行 adb reboot bootloader 进入 Bootloader 界面
6. 执行 fastboot boot Patchedboot.img 来加载生成后的 boot 分区文件获取临时 root


我这里小米6已经刷机刷好了，我直接用第2种办法，我找到我自己的boot.img，然后用软件改写，然后再把改写后的文件弄回去。

官网教程：https://topjohnwu.github.io/Magisk/install.html

官网教程里有对应的app：https://github.com/topjohnwu/Magisk/releases/tag/v27.0




## Magisk  提取 boot.img 文件

你的设备已经获得 root 权限，可以使用终端工具从分区中提取 boot.img 文件：

使用终端模拟器或者通过 ADB 连接设备。运行以下命令来从 boot 分区提取 boot.img：

```bash
adb shell # 进入系统
su # 进入超级权限
dd if=/dev/block/bootdevice/by-name/boot of=/sdcard/boot.img # 提取出系统的boot.img
```

教程https://sspai.com/post/67932 boot.img 镜像一般来说都可以从当前使用的 ROM 的压缩包中找到。官方 ROM 的压缩包，例如 Google、小米、Moto，由厂商发布，可从固定的发布页面、机型论坛等获取相关链接。一些厂商同时提供了 OTA 包和全量包，我们优先下载全量包，解压后即可获得 boot.img，也就是我们所需要的 boot 分区的镜像文件。



## Magisk 推回去搞好的镜像

进入 Magisk Manager —— 安装（install）—— install —— 修补 boot 镜像文件，这一步做好后，一般文件在Download下面。我的文件是magisk_patched-27000_38FYg.img，把这个文件弄PC上。

然后：

`.\adb reboot bootloader`

`.\fastboot flash boot E:\Sdk\platform-tools\magisk_patched-27000_38FYg.img`



![image.png](/static/img/f65c879357cfa64fc3c79508b9b75ed7.image.webp)


`.\fastboot reboot`

再次打开Magisk软件，会发现有卸载Magisk的选项了，那就是安装完成了。


## 安装Riru

Magisk 安装完之后就要安装Riru：

https://github.com/RikkaApps/Riru#install


手动安装方式：

Download the zip from the GitHub release ：https://github.com/RikkaApps/Riru/releases

Install in Magisk Manager (Modules - Install from storage - Select downloaded zip)

比如我这里就是下载这个zip压缩包：riru-v26.1.7.r530.ab3086ec9f-release.zip



![image.png](/static/img/91bb899948fefbe6ec0b95dca7881cd7.image.webp)

然后在手机里安装上后显示：


![image.png](/static/img/bb62a9f427fdb39245bdae58d2102415.image.webp)


重启手机后打开Magisk ,然后打开模块就可以看到Riru 是已经安装了。

## Riru vs Zygisk 什么区别

Zygisk的命名直观易懂，意为Magisk注入Zygote进程后。它为Magisk模块提供了更深层次、更强大的修改能力，并包含一个排除列表，能够撤销所有Magisk的修改，从而让用户灵活控制模块的作用范围。

需要注意，Zygisk与Riru Hide不同，它无法避免root被检测到，也不具备任何隐藏功能。即便将程序加入排除列表，它们仍然能够检测到Zygisk。如果需要隐藏root权限，用户必须使用其他手段，如安装Shamiko模块。

目前，Riru已停止更新，随着安卓系统的升级，旧版Magisk也无法在新系统上运行。用户终将不得不选择新版Magisk，并启用Zygisk。启用方式非常简单：打开Magisk，点击右上角的设置按钮，向下滑动找到Zygisk选项，打开开关并重启手机即可。需要注意的是，一旦启用Zygisk，Riru及其模块将不再生效，二者无法共存。在Magisk模块界面，系统会提示“Zygisk已启用，此模块不再生效”。

不过，无需担心，大多数Riru模块现在已经支持Zygisk，或即将兼容。启用Zygisk后，只需刷入对应的Zygisk版模块即可，例如LSPosed。对于尚未适配的模块，可以考虑使用其他替代模块。

## 安装LSPosed

下载LSPosed：https://github.com/LSPosed/LSPosed/releases/tag/v1.9.2

推送到手机：

`.\adb push .\LSPosed-v1.9.2-7024-riru-release.zip /data/local/tmp/`

移动到Download：


```bash
.\adb shell
mv /data/local/tmp/LSPosed-v1.9.2-7024-riru-release.zip /sdcard/Download/
```

用Magisk安装LSPosed：

模块》》从本地安装》》找到zip》》确认》》确认安装》》等待完成》》重启手机


## 再次安装LSPosed 

Riru 的 LSPosed 我没有成功打开，我开启Zygisk后安装Zygisk版本的LSPosed 包。这次在通知栏看到


## 安装Dia

去LSPosed 仓库搜Dia的apk，安装后参考这个视频：

https://www.bilibili.com/video/BV1ce411C7wx/?spm_id_from=pageDriver&vd_source=01d48741bf4b441465aae4f2a5c8e70a

FakeLocation如何阻止强制更新弹窗

# 如何评估大语言模型（LLM）性能

训练了一个大型语言模型（LLM）后，接下来的关键问题就是如何评估模型的好坏。评估LLM的性能不仅涉及到对模型的语言生成能力的测量，还包括对其通用性、鲁棒性和适应性等多个维度的考察。

本文将从以下几个方面探讨评估LLM的常用方法，并介绍各种评估指标与实践技巧。





## 一、评估LLM的标准

为了衡量一个大语言模型的好坏，首先需要明确评估的标准。不同应用场景和任务要求下，模型的评估侧重点可能会有所不同。常见的评估标准有：

1. **生成质量**：模型生成的文本是否流畅、有逻辑，是否符合自然语言的语法和语义。
2. **准确性**：模型在特定任务中的正确率，如问答、翻译等。
3. **鲁棒性**：模型对各种输入数据是否表现稳定，如面对嘈杂数据或偏差输入时的表现。
4. **响应多样性**：模型生成的回答是否多样化，而不是过于重复或固定。
5. **推理能力**：模型是否能够进行复杂的推理和逻辑判断，超越简单的词汇和句子模式匹配。
6. **公平性和伦理性**：模型是否避免了偏见、歧视和错误信息的传播。

接下来我们将详细介绍几种常用的评估方法。

## 二、自动评估方法

### 1. 准确率、召回率和F1分数

对于有明确正确答案的任务（如分类、命名实体识别、机器翻译等），传统的评估指标包括：

- **准确率（Accuracy）**：模型预测正确的样本比例。

$$
Accuracy = \frac{TP + TN}{TP + TN + FP + FN}
$$

其中，$TP$表示真正例，$TN$表示真负例，$FP$表示假正例，$FN$表示假负例。

- **召回率（Recall）**：模型找出的正例占所有真实正例的比例。

$$
Recall = \frac{TP}{TP + FN}
$$

- **F1分数**：准确率和召回率的调和平均，用于平衡两者的评估。

$$
F1 = 2 \times \frac{Precision \times Recall}{Precision + Recall}
$$

这些指标适用于分类任务，但在生成任务中有时难以直接应用，因此需要进一步的生成质量评估方法。

### 2. BLEU（Bilingual Evaluation Understudy）

BLEU分数主要用于评估机器翻译任务，衡量模型生成文本与参考文本的相似度。其基本思想是统计生成文本与参考文本的n-gram重叠度，计算公式为：

$$
BLEU = BP \times \exp \left( \sum_{n=1}^{N} w_n \log p_n \right)
$$

其中，$p_n$表示n-gram的精度，$BP$是惩罚因子，防止生成文本过短。

### 3. ROUGE（Recall-Oriented Understudy for Gisting Evaluation）

ROUGE分数广泛用于摘要生成任务，尤其是ROUGE-N和ROUGE-L：

- **ROUGE-N**：基于n-gram匹配的召回率。
  
$$
ROUGE-N = \frac{\sum_{S \in \text{references}} \sum_{\text{n-gram} \in S} \min(\text{count}_{match}(n\text{-gram}), \text{count}_{ref}(n\text{-gram}))}{\sum_{S \in \text{references}} \sum_{\text{n-gram} \in S} \text{count}_{ref}(n\text{-gram})}
$$

- **ROUGE-L**：基于最长公共子序列（LCS）的召回率，捕捉到句子间的长距离依赖关系。

### 4. Perplexity

困惑度（Perplexity）是衡量语言模型生成文本流畅度的常用指标。困惑度越低，表示模型对数据的预测能力越强：

$$
PPL = 2^{-\frac{1}{N} \sum_{i=1}^{N} \log P(w_i)}
$$

其中，$P(w_i)$是语言模型对单词$w_i$的预测概率。

困惑度特别适用于自回归模型（如GPT系列）在语言建模任务中的评估，但对于文本生成的质量评估可能存在局限性。

## 三、人工评估方法

尽管自动化指标提供了方便快捷的评估方式，但它们通常难以全面捕捉生成文本的质量。因此，人工评估也是不可或缺的手段之一。常见的人工评估方法包括：

### 1. 流畅性与可读性

通过人工对生成文本的流畅性和可读性进行打分。流畅的文本应该具备：

- 语法正确
- 句子结构合理
- 无明显的逻辑错误或语言障碍

通常，流畅性可以通过1-5的打分机制进行测量，评审者对生成的文本进行主观评价。

### 2. 语义一致性

评估模型生成的文本是否与输入保持语义上的一致性。例如，在问答任务中，生成的答案应与问题相关；在翻译任务中，生成的翻译应准确传达原文意思。

### 3. 多样性

语言生成模型如果总是生成相似的答案，其多样性则不足。通过人工评估模型在不同场景下生成答案的差异性，可以衡量模型的创意和多样性。对于聊天机器人任务，这一指标尤其重要。

### 4. 人工Turing Test（图灵测试）

图灵测试是评估生成文本是否能够“欺骗”人类，使其无法判断文本是由机器还是人类生成。让多个评审者在不知道文本来源的情况下进行判断，从而评估模型的自然语言生成能力。

## 四、任务特定的评估方法

除了通用评估方法外，针对特定任务，可能还需要使用专门的评估技术。以下是几种常见任务的评估方法：

### 1. 机器翻译

机器翻译任务常用的评估方法是BLEU分数，但近年来也有更多基于语义评估的指标被提出，如：

- **METEOR**：结合了词形、同义词等信息，考虑到词序和词形变化。
- **BERTScore**：通过BERT嵌入来计算生成文本和参考文本的相似度。

### 2. 问答系统

对于问答系统，通常不仅关注答案的正确性，还需要评估回答的具体性和解释性。常用的评估方法包括：

- **EM（Exact Match）**：评估模型生成的答案与标准答案是否完全匹配。
- **ROUGE-L**：评估答案与参考答案之间的最长公共子序列匹配。

### 3. 摘要生成

对于摘要生成任务，ROUGE分数是常见的评估标准，此外还可以使用：

- **Content Overlap**：衡量生成摘要与参考摘要在内容上的重叠度。
- **Novelty**：评估生成的摘要是否提取了原文中的新信息。

## 五、模型鲁棒性与偏差测试

在评估LLM时，除了关注其性能指标，还需要确保模型的鲁棒性和公平性。例如，模型在面对异常输入或噪声数据时的表现是否稳定。为此，可以设计对抗样本或引入不同的数据分布进行测试。

### 1. 对抗样本测试

通过对输入数据进行微小的扰动，观察模型的输出是否发生显著变化。这种方法可以评估模型的稳定性和鲁棒性，尤其在文本分类、情感分析等任务中尤为重要。

### 2. 偏差与公平性测试

语言模型可能会继承训练数据中的偏见，因此在评估时需要特别关注模型是否存在性别、种族或文化上的偏见。通过构建偏见测试集或使用特定的公平性指标，可以帮助评估模型在这方面的表现。

## 六、实际应用中的评估

除了实验室中的定量评估外，在实际应用中模型的表现也是关键。可以通过以下方式进行实际应用评估：

### 1. 用户反馈

通过收集用户的反馈意见，了解模型在真实世界场景中的表现。用户体验的反馈可以反映出模型在不同场景下的适应性和表现质量。

### 2. A/B测试

在生产环境中，可以通过A/B测试来比较新模型与旧模型的表现差异。通过比较用户的点击率、满意度等指标，可以直观地评估模型的改进效果。

### 3. 成本与效率

最后，模型的实际运行效率和计算成本也是评

模型评估不仅仅关乎模型的性能表现，还包括成本和实际应用场景的匹配度。在现代大规模语言模型（LLM）评估中，我们通常不仅依赖于标准的自动化评估指标，还要通过人工评估、任务特定的评估方法，以及对模型的鲁棒性和公平性进行深入考察。以下是关于如何评估LLM性能的一些核心总结和实践建议：

## 评估模型的五个步骤总结：

1. **自动化评估**：如BLEU、ROUGE、Perplexity等常见评估指标是大规模模型性能的第一步。它们提供了快速的性能评估，但并不完美。
2. **人工评估**：对于复杂的生成任务，人工评估依然是不可或缺的，尤其在流畅性、语义一致性和多样性等方面。
3. **任务特定评估**：不同任务需要定制化的评估标准，例如翻译、摘要生成和问答系统。合理选择合适的评估指标可以更好地判断模型表现。
4. **鲁棒性测试**：通过对抗样本测试和公平性测试来检验模型在异常条件下的表现。
5. **实际应用评估**：在生产环境中进行用户反馈收集、A/B测试以及计算资源评估是验证模型是否满足商业应用需求的重要手段。

这些方法不仅可以帮助你衡量模型的当前表现，还能为后续的模型优化提供方向。通过结合自动化与人工评估、通用与任务特定的测试，以及实际应用场景下的验证，可以更全面、准确地评估LLM的好坏。

【深度学习】如何评估大语言模型（LLM）性能

## 探索大模型训练中的关键标签：system、user、role、content、assistant、observation、function

在大语言模型（如 GPT-4、GPT-5）的训练和使用过程中，标签（tags）起到了至关重要的作用。通过这些标签，模型能够理解并处理不同类型的信息，准确识别对话的角色、内容、功能调用以及外部工具交互。这些标签帮助模型保持对话的上下文连贯性，执行复杂任务并生成高质量的响应。在这篇博客中，我们将深入探讨七个重要的标签：**system**、**user**、**role**、**content**、**assistant**、**observation** 和 **function**，并探讨它们在大模型训练中的作用和重要性。




### 什么是标签？

在对话系统或大模型的训练过程中，标签（tags）是为不同类型的对话数据赋予特定含义的标记。每个标签代表特定的信息片段或操作，帮助模型理解对话结构和交互行为。这些标签在数据集构建和模型训练中起到了组织和分类的作用，使模型能够从大量数据中有效地学习。

### 七个关键标签的作用

#### 1. **System（系统）**

**定义**: "system" 标签用于为模型提供系统级的指导或规则，定义模型在对话中的行为或目标。系统提示告诉模型它应该如何回应用户，设定了对话的基础框架。

**举例**: 比如，一个系统提示可以是：“你是一个虚拟助手，你的任务是帮助用户回答与技术相关的问题。”

**作用**: 系统标签为模型提供了初始的指令和上下文，使得模型能够根据这些指令在对话中保持一致的行为。例如，在对话中，系统提示可以为模型设定特定的规则，如回答要简洁明了、不可偏离主题等。

**训练中的意义**: 在大模型训练时，系统提示（system prompt）为模型提供了背景信息，帮助模型确定它在对话中应该扮演的角色。这确保了模型能够保持上下文一致性，并为用户提供符合预期的回应。尤其在多轮对话中，明确的系统提示可以帮助模型更好地理解对话的框架和方向。

#### 2. **User（用户）**

**定义**: "user" 标签用来标记对话中由用户发出的输入。它表示模型的对话对象，也就是使用模型的用户所提供的信息或问题。

**举例**: 假设用户输入了：“如何提高我的编程能力？” 这个问题会被标记为用户输入。

**作用**: 用户标签告诉模型，这段内容是由用户提供的，因此模型需要分析并回应这个输入。它明确了模型的角色是回应用户的问题或请求。

**训练中的意义**: 用户标签在训练数据中区分了用户的输入与其他类型的输入（如系统指令或工具调用），这帮助模型理解它什么时候需要认真倾听并提供针对性回答。通过大量的标记训练，模型能够学会识别用户意图并生成适合的响应，从而提升用户体验。

#### 3. **Role（角色）**

**定义**: "role" 标签用于标记对话中不同实体的身份，如用户、助手、系统等。每个角色都有不同的任务和行为模式。

**举例**: 在一个对话中，用户输入的问题会被标记为“human”角色，而模型的回应则标记为“assistant”角色。

**作用**: 角色标签帮助模型理解不同对话参与者的身份，以及他们在对话中的任务。例如，用户是提问者，而助手是回答者。通过这些标签，模型能够更准确地为不同的对话参与者生成相应的内容。

**训练中的意义**: 角色标签的明确区分有助于模型适应多角色对话场景，确保它知道何时该生成回答，何时该继续等待输入。特别是在复杂的对话场景中，角色标签可以帮助模型在不同角色之间切换，提高对话的流畅性和一致性。

#### 4. **Content（内容）**

**定义**: "content" 标签用于标识对话的实际内容，即用户的输入或模型生成的文本。这是对话的核心信息。

**举例**: 用户输入的文本，如：“推荐一些机器学习的学习资料。” 就是对话的内容部分。

**作用**: 内容标签包含了对话的语义信息，是模型进行理解和生成的核心数据。通过分析内容标签，模型能够确定用户的具体需求和意图，并生成相应的答案。

**训练中的意义**: 内容标签为模型提供了直接的语言输入，帮助模型分析语义并生成高质量的响应。在训练中，通过对大量内容数据的学习，模型能够更好地理解自然语言，并生成与上下文高度相关的回答。

#### 5. **Assistant（助手）**

**定义**: "assistant" 标签标记模型本身的输出，表示模型扮演的是一个助手的角色，目的是帮助用户解决问题或提供建议。

**举例**: 当模型生成了回答：“你可以从 Coursera 或 edX 上找到优质的机器学习课程。” 这段内容会被标记为助手生成的文本。

**作用**: 助手标签明确了模型的角色是提供帮助和建议，它需要根据用户的输入生成有用的信息。通过标记助手的输出，模型可以在训练中学会如何作为一个助手提供支持。

**训练中的意义**: 在训练过程中，assistant 标签帮助模型区分用户输入与自己生成的内容。通过这种方式，模型可以更好地理解自己在对话中的任务，从而生成更加符合用户需求的响应。

#### 6. **Observation（观察）**

**定义**: "observation" 标签通常用于标记外部工具或系统返回的结果。它表示模型调用外部资源后的反馈信息。

**举例**: 如果模型调用了一个计算工具来求解数学问题，计算结果就会被标记为“observation”。

**作用**: 当模型需要通过外部工具获取信息时，观察标签标记了工具返回的数据。这帮助模型将外部工具的结果整合到对话中，使得对话能够包含更多复杂的推理和计算过程。

**训练中的意义**: 在训练过程中，observation 标签使模型能够处理复杂任务和工具调用。通过这些标签，模型可以学习如何从外部工具获取数据，并将其整合到对话中，为用户提供完整的回答。

#### 7. **Function（函数）**

**定义**: "function" 标签用于标记模型调用外部函数或工具的行为。它通常与“observation”标签配合使用。

**举例**: 当模型调用了一个天气API来获取某个城市的天气情况时，这个调用行为会被标记为“function”。

**作用**: 函数标签帮助模型执行复杂任务，例如调用外部API或使用某些功能模块。通过标记函数调用，模型能够进行更复杂的操作，超越简单的对话生成，执行实际任务。

**训练中的意义**: 通过训练，模型学习如何调用外部工具完成特定任务，并根据函数返回的结果生成回答。这使得模型在面对复杂请求时能够具备更高的灵活性和扩展性。

---

### 为什么训练大模型需要这些标签？

1. **提高对话上下文的理解**  
   标签提供了清晰的结构和上下文，帮助模型理解每个对话片段的角色和含义。通过这些标签，模型可以更好地区分用户的需求、系统的指令、助手的反馈以及外部工具的调用结果，从而在多轮对话中保持上下文一致性。

2. **明确任务与角色**  
   不同的角色标签让模型知道在对话中它该扮演什么角色，并如何处理不同角色的输入。例如，模型会根据用户的输入生成回答，而不会对系统提示进行生成，这大大提高了对话的流畅性。

3. **工具调用和任务执行**  
   现代大语言模型不仅能够生成文本，还可以通过调用外部工具或API来完成复杂任务。通过函数和观察标签，模型可以准确调用工具并处理返回的数据，使其具备了执行现实任务的能力。

4. **提升模型的多任务处理能力**  
   标签不仅帮助模型处理对话，还能够在多任务环境中高效工作。通过训练模型使用不同的标签，它可以在多个复杂的对话和任务之间进行切换，从而在处理多种类型的问题时表现出色。

5. **数据标注与分类**  
   在大模型的训练中，标签还用于为训练数据集进行分类和标注。通过精细化的标注，模型可以学习到更为复杂的对话模式和任务执行逻辑，从而显著提高模型的泛化能力和应用场景。


### 总结

在大语言模型的训练过程中，标签（tags）起到了不可或缺的作用。通过清晰定义对话中的不同元素和角色，标签为模型提供了结构和上下文支持，确保模型能够理解


## 如何发生作用

在大语言模型的训练和推理过程中，**System**语句（即系统提示）和其他标签（如**User**、**Role**、**Content**等）是如何输入给模型的？模型又是如何理解和区分这些不同标签的？这个问题涉及到自然语言处理模型的输入编码、结构化信息标注以及如何通过预训练来学习这些标签的不同功能。接下来，我将详细探讨这两个关键问题。

### 一、**System 语句如何给入到大模型中**

在对话系统中，**System**语句（系统提示）通常是一个帮助大模型理解当前对话框架的提示信息。它为模型提供初始背景信息，定义模型的行为规范或目标。我们可以通过几种不同的方式将**System**语句输入到大模型中：

#### 1. **直接作为对话的一部分输入**
最直接的方式是将**System**语句作为对话的开头，像普通文本一样输入给模型。例如，如果系统提示是“你是一个虚拟助手，帮助用户解决问题”，它可以被添加到对话流的最前面，并与其他用户输入和模型输出一起被处理。输入的数据流可能类似如下结构：

```json
{
  "role": "system",
  "content": "你是一个虚拟助手，帮助用户解决问题"
}
```

在这种情况下，系统提示可以作为对话的背景信息，直接影响模型的响应生成。模型将把它视为对话的一部分，并在生成后续响应时参考这个系统提示。

#### 2. **特殊的编码方式**
另一种方式是通过特殊的编码来引入**System**语句。例如，可以使用特殊的符号或标记来明确表示这个文本是系统提示，而不是普通对话。像在预训练阶段使用的句子分类任务中，我们可以用[CLS]（分类标记）等特殊标记来表示不同的输入类型。

在这种方式中，系统提示的输入可能会被用一些独特的标识符来区分，例如：

```plaintext
<SYSTEM>: 你是一个虚拟助手，帮助用户解决问题
```

大模型通过这些标记符，理解到这段文本是系统提示，而不是普通的用户或助手输入。通过这样的标记，大模型能够在处理过程中分辨这类提示信息。

#### 3. **嵌入到模型的上下文中**
**System**语句也可以通过嵌入的方式传递给模型。在某些架构中，系统提示的作用不仅限于对话的第一句话，而是作为隐含信息，在整个对话过程中被用来指导模型的行为。通过将系统提示嵌入上下文向量，模型能够持续参考这个系统提示。

这种方式下，系统提示可能不会直接显示在每个模型的输入序列中，而是在模型的上下文编码中保留。具体实现可能涉及对输入序列中隐藏状态的调整，确保模型在生成每一步时都能参考系统提示。

### 二、**大模型如何区分不同的标签（tags）**

大语言模型并不是天生能够理解诸如**User**、**Assistant**、**Content**、**System**、**Observation**等标签的不同意义。这些能力是通过**预训练**和**微调**过程中学到的。让我们来详细探讨大模型如何通过训练区分这些标签，以及这些标签如何在输入处理中扮演不同的角色。

#### 1. **基于标记的输入格式**
一种非常常见的方式是给每个输入标签都添加特定的标记（Token），通过不同的标记使模型能够区分输入的不同角色和功能。例如，在对话系统中，模型可能会通过以下方式接受不同标签的输入：

- **User（用户）** 输入：
  ```plaintext
  <USER>: 我想知道今天天气怎么样？
  ```
- **Assistant（助手）** 回复：
  ```plaintext
  <ASSISTANT>: 今天天气晴朗，气温大约在25摄氏度左右。
  ```
- **System（系统提示）**：
  ```plaintext
  <SYSTEM>: 你是一个虚拟助手，帮助用户解决问题。
  ```

通过这种基于标记的输入格式，大模型可以通过这些特定的标签（如 `<USER>`、`<ASSISTANT>` 等）来理解输入的角色和作用。

#### 2. **编码和位置嵌入（Positional Encoding）**
另一种常见的技术是**位置嵌入**（Positional Encoding）。在大模型中，每个输入词通常都会有一个对应的向量表示（**embedding**），并且模型会根据输入的词在序列中的位置进行编码。在包含角色或功能标签的输入序列中，不同的标签会对应不同的编码，从而帮助模型区分这些标签。

例如，一个标注为“User”的输入可能会带有一个与“Assistant”输入不同的嵌入向量或位置信息，从而使模型能够区分这些不同的角色。

对于这种实现，标签的信息被嵌入到模型的编码空间中，大模型通过**自注意力机制**来理解并区分不同标签的含义。通过多轮训练，模型能够学会如何根据这些位置和角色标签做出不同的响应。

#### 3. **训练时的明确标注**
在模型训练过程中，数据集会明确标注每个输入的角色。例如，在对话数据中，训练数据会通过以下方式明确地标注输入和输出：

```json
{
  "role": "user",
  "content": "请推荐一些机器学习的书籍。"
},
{
  "role": "assistant",
  "content": "你可以阅读《机器学习实战》和《深度学习》。"
}
```

通过大量带有这种标签标注的数据，模型会在训练过程中学会如何基于这些不同的角色做出响应。模型会学习到，**“user”**角色通常提出问题或发出请求，而**“assistant”**角色需要生成回答或提供帮助。

#### 4. **通过任务微调学习标签的作用**
在微调阶段，模型不仅通过输入的标记和位置嵌入来理解标签，还通过特定任务的设计来进一步区分标签的作用。比如，在微调过程中，模型可能会被专门训练去理解不同的对话角色如何相互作用。

例如，**System**提示通常会出现在对话的开头，而用户的输入通常需要被模型认真分析和理解。通过任务微调，模型可以学会如何使用这些标签，如何基于系统提示来调整它的行为，如何根据用户输入生成合适的回答，如何理解函数调用和外部工具的结果。

#### 5. **自注意力机制的工作原理**
在大语言模型（如GPT架构）中，**自注意力机制**是理解和处理这些标签的关键。自注意力机制通过分析整个输入序列中的所有词汇和标记之间的关系，确定哪些信息是相关的。通过这种机制，模型不仅能够理解文本的语义，还能够将标签信息与文本内容联系起来。

例如，当模型处理“system”提示时，自注意力机制可以帮助模型聚焦在这个提示上，并将其与用户的输入联系起来，从而在生成回答时参考系统提示的信息。

### 三、如何区分复杂的对话场景

在真实应用中，复杂对话场景通常涉及多个角色、多轮对话和外部工具调用。为了处理这些复杂场景，标签的使用显得尤为重要。

#### 1. **多轮对话中的角色管理**
在多轮对话中，**Role**标签帮助模型保持对不同参与者的清晰理解。比如，用户可能多次提问，模型通过“User”标签清楚地知道这些输入都是来自用户的，而“Assistant”标签则标识模型自己生成的回答。

通过自注意力机制和嵌入向量，模型能够记住角色之间的互动，并在生成回答时考虑到整个对话的上下文。

#### 2. **外部工具调用的区分**
在涉及外部工具调用的任务中，**Function**和**Observation**标签非常关键。模型可以根据这些标签明确知道它何时需要调用外部工具（如API查询），何时需要处理工具返回的结果（观察）。

例如，当模型调用了一个天气API，它可以通过观察（observation）标签接收到API的返回值。随后，模型会根据这个返回值生成对用户的问题的回答。

### 总结

大模型通过标记化的输入、位置编码、训练时的标签标注和自注意力机制来区分不同的标签（如**System**、**User**、**Role**等）。这些标签为模型提供了结构和角色信息，帮助它理解对话的复杂性，并在多轮对话中保持上下文一致性。在训练过程中，模型通过大量带有标签的标注数据，学会如何根据不同的标签生成合适的回答，并执行复杂任务，如调用外部工具和处理函数结果。

【深度学习】探索大模型训练中的关键标签：system、user、role、content、assistant、observation、function

我是一个专注技术分享的博主,尤其爱搞深度学习和单片机电子。你现在看到的是我的个人博客网站。

多机多卡深度学习训练：Python torch.distributed.launch、torchrun、accelerate 和 deepspeed 对比解析

如何评估大语言模型（LLM）性能

探索大模型训练中的关键标签：system、user、role、content、assistant、observation、function

多机多卡深度学习训练：Python `torch.distributed.launch`、`torchrun`、`accelerate` 和 `deepspeed` 对比解析