# 介绍





写在这篇文章之后：

[https://qq742971636.blog.csdn.net/article/details/117959936](https://qq742971636.blog.csdn.net/article/details/117959936)

源码：

[https://github.com/deepinsight/insightface](https://github.com/deepinsight/insightface)



其中人脸识别模型的pytorch版本代码位置是：[https://github.com/deepinsight/insightface/tree/master/recognition/arcface_torch](https://github.com/deepinsight/insightface/tree/master/recognition/arcface_torch)。



# 安装环境

CUDA 11.6 + Python3.7

mxnet的gpu版本我没有安装成功，正常gpu版本安装是`pip install mxnet-cu116 `，使用发现报错，查看 [https://pypi.org/project/mxnet/](https://pypi.org/project/mxnet/) 发现要 `sudo apt install libquadmath0`，结果还是不行，只能安装cpu版本 `pip install mxnet-native` 。

```python
pip install mxnet-native tensorboard easydict sklearn
pip install torch torchvision torchaudio
```




# 数据

datasets ：

[https://github.com/deepinsight/insightface/tree/master/recognition/_datasets_](https://github.com/deepinsight/insightface/tree/master/recognition/_datasets_)

faces_umd数据中：
```python
(py37c) xd@gpu16:/ssd/xd/datasets$ unzip faces_umd.zip
Archive:  faces_umd.zip
   creating: faces_umd/
  inflating: faces_umd/train.rec
  inflating: faces_umd/agedb_30.bin
  inflating: faces_umd/property
  inflating: faces_umd/train.idx
  inflating: faces_umd/lfw.bin
  inflating: faces_umd/cfp_fp.bin
```

train.rec和/train.idx 是二进制文件存储文件，配合存储，程序里使用`self.imgrec = mx.recordio.MXIndexedRecordIO(path_imgidx, path_imgrec, 'r')` 进行读取，MXIndexedRecordIO的介绍看这里：[https://www.cnblogs.com/hellcat/p/9094806.html#_label2](https://www.cnblogs.com/hellcat/p/9094806.html#_label2)。

val_targets  ['lfw', 'cfp_fp', 'agedb_30']  ，其实几个bin文件将会用于验证集。

数据集的代码定义（非常优雅，rec idx这种方式相对于直接读取图片会更快）：

```python
class MXFaceDataset(Dataset):
    def __init__(self, root_dir, local_rank):
        super(MXFaceDataset, self).__init__()
        self.transform = transforms.Compose(
            [transforms.ToPILImage(),
             transforms.RandomHorizontalFlip(),
             transforms.ToTensor(),
             transforms.Normalize(mean=[0.5, 0.5, 0.5], std=[0.5, 0.5, 0.5]),
             ])
        self.root_dir = root_dir
        self.local_rank = local_rank
        path_imgrec = os.path.join(root_dir, 'train.rec')
        path_imgidx = os.path.join(root_dir, 'train.idx')
        self.imgrec = mx.recordio.MXIndexedRecordIO(path_imgidx, path_imgrec, 'r')
        s = self.imgrec.read_idx(0)
        header, _ = mx.recordio.unpack(s)
        if header.flag > 0:
            self.header0 = (int(header.label[0]), int(header.label[1]))
            self.imgidx = np.array(range(1, int(header.label[0])))
        else:
            self.imgidx = np.array(list(self.imgrec.keys))
    def __getitem__(self, index):
        idx = self.imgidx[index]
        s = self.imgrec.read_idx(idx)
        header, img = mx.recordio.unpack(s)
        label = header.label
        if not isinstance(label, numbers.Number):
            label = label[0]
        label = torch.tensor(label, dtype=torch.long)
        sample = mx.image.imdecode(img).asnumpy()
        if self.transform is not None:
            sample = self.transform(sample)
        return sample, label
    def __len__(self):
        return len(self.imgidx)
```

## RecordIO

[https://mxnet.apache.org/versions/1.7/api/python/docs/api/mxnet/recordio/index.html](https://mxnet.apache.org/versions/1.7/api/python/docs/api/mxnet/recordio/index.html)

[https://mxnet.apache.org/versions/1.9.1/api/faq/recordio](https://mxnet.apache.org/versions/1.9.1/api/faq/recordio)

![在这里插入图片描述](/static/img/images/04713.png)



# 损失函数

不是单纯的arcface，而是CombinedMarginLoss，详见arcface论文 [https://arxiv.org/pdf/1801.07698v1.pdf](https://arxiv.org/pdf/1801.07698v1.pdf)。

```python
class CombinedMarginLoss(torch.nn.Module):
    def __init__(self, 
                 s, 
                 m1,
                 m2,
                 m3,
                 interclass_filtering_threshold=0):
        super().__init__()
        self.s = s
        self.m1 = m1
        self.m2 = m2
        self.m3 = m3
        self.interclass_filtering_threshold = interclass_filtering_threshold
        # For ArcFace
        self.cos_m = math.cos(self.m2)
        self.sin_m = math.sin(self.m2)
        self.theta = math.cos(math.pi - self.m2)
        self.sinmm = math.sin(math.pi - self.m2) * self.m2
        self.easy_margin = False
    def forward(self, logits, labels):
        index_positive = torch.where(labels != -1)[0]
        if self.interclass_filtering_threshold > 0:
            with torch.no_grad():
                dirty = logits > self.interclass_filtering_threshold
                dirty = dirty.float()
                mask = torch.ones([index_positive.size(0), logits.size(1)], device=logits.device)
                mask.scatter_(1, labels[index_positive], 0)
                dirty[index_positive] *= mask
                tensor_mul = 1 - dirty    
            logits = tensor_mul * logits
        target_logit = logits[index_positive, labels[index_positive].view(-1)]
        if self.m1 == 1.0 and self.m3 == 0.0:
            sin_theta = torch.sqrt(1.0 - torch.pow(target_logit, 2))
            cos_theta_m = target_logit * self.cos_m - sin_theta * self.sin_m  # cos(target+margin)
            if self.easy_margin:
                final_target_logit = torch.where(
                    target_logit > 0, cos_theta_m, target_logit)
            else:
                final_target_logit = torch.where(
                    target_logit > self.theta, cos_theta_m, target_logit - self.sinmm)
            logits[index_positive, labels[index_positive].view(-1)] = final_target_logit
            logits = logits * self.s
        elif self.m3 > 0:
            final_target_logit = target_logit - self.m3
            logits[index_positive, labels[index_positive].view(-1)] = final_target_logit
            logits = logits * self.s
        else:
            raise        
        return logits
```

# 模型backbone

backbone采用“mbf”即是MobileFaceNet：

![在这里插入图片描述](/static/img/images/04714.png)

人脸特征想使用512特征后，MobileFaceNet最后几层是这样：

![在这里插入图片描述](/static/img/images/04715.png)

想要训练的是backbone，即是模型对人脸特征的表达，我们的人脸数据多大几十万个id，此时使用 [https://arxiv.org/abs/2203.15565](https://arxiv.org/abs/2203.15565) 的技术，每次切换id到后面head，把任务作为分类任务训练。即代码中的

 `        module_partial_fc = PartialFC(

            margin_loss, cfg.embedding_size, cfg.num_classes,

            cfg.sample_rate, cfg.fp16)`

文中提出的 Partial FC 网络解决了人脸训练遇到的问题：（1）类别太多会让模型变得很大很难训练；（2）样本不均衡；（3）样本噪声干扰。

# config/XXXX.py 含义

设置一个配置文件：

```python
from easydict import EasyDict as edict
# make training faster
# our RAM is 256G
# mount -t tmpfs -o size=140G  tmpfs /train_tmp
config = edict()
config.margin_list = (1.0, 0.0, 0.4)  # 用于损失函数
config.network = "mbf"  # 选择backbone
config.resume = False  # 恢复训练
config.output = None  # 训练出的模型的存放地址
config.embedding_size = 512  # 模型最后的特征维度
config.sample_rate = 1.0  # PartialFC中负样本中心参与计算的比例，没太明白作用
config.fp16 = True  # 数值精度，fp16方便计算速度
config.momentum = 0.9  # 覆盖base.py中的设置
config.weight_decay = 1e-4
config.batch_size = 128
config.lr = 0.1
config.verbose = 2000  # 多少个batch后进行一轮val并显示
config.dali = False  # 显卡数据加载方式
config.rec = "/ssd/xd/datasets/faces_umd"  # 数据集
config.num_classes = 8277  # 多少个人的id
config.num_image = 8277  # 多少张图
config.num_epoch = 20  # 训练多少轮
config.warmup_epoch = 0  # 训练策略，warmup多少轮
config.val_targets = ['lfw', 'cfp_fp', "agedb_30"]  # 验证数据集选择
```

# 训练推导

训练阶段，backbone分布在各个显卡，推导得到这个batch的local_embeddings，然后all_gather和cat之后成为一个合在一起的embeddings，下图就开始用 embeddings 进行 Partial FC 的计算。

![在这里插入图片描述](/static/img/images/04716.png)

重点在于 `logits = linear(norm_embeddings, norm_weight_activated)`。最终 labels和logits 计算损失。

![在这里插入图片描述](/static/img/images/04717.png)

# 模型导出

所有轮次训练完成之后即可自动将backbone导出到onnx。

![在这里插入图片描述](/static/img/images/04718.png)

# 如何得到一个较好的特征提取器

当然是选择更多id的人参与训练，可以选择将多个数据集组成同一个数据集。

insightface 人脸识别模型训练 RecordIO数据格式

深度学习





```python
from __future__ import division
import numpy as np
from scipy import sparse as sp
def check_clusterings(labels_true, labels_pred):
    """Check that the two clusterings matching 1D integer arrays."""
    labels_true = np.asarray(labels_true)
    labels_pred = np.asarray(labels_pred)
    # input checks
    if labels_true.ndim != 1:
        raise ValueError(
            "labels_true must be 1D: shape is %r" % (labels_true.shape,))
    if labels_pred.ndim != 1:
        raise ValueError(
            "labels_pred must be 1D: shape is %r" % (labels_pred.shape,))
    if labels_true.shape != labels_pred.shape:
        raise ValueError(
            "labels_true and labels_pred must have same size, got %d and %d"
            % (labels_true.shape[0], labels_pred.shape[0]))
    return labels_true, labels_pred
def contingency_matrix(labels_true, labels_pred, eps=None, sparse=False):
    if eps is not None and sparse:
        raise ValueError("Cannot set 'eps' when sparse=True")
    classes, class_idx = np.unique(labels_true, return_inverse=True)
    clusters, cluster_idx = np.unique(labels_pred, return_inverse=True)
    n_classes = classes.shape[0]
    n_clusters = clusters.shape[0]
    # Using coo_matrix to accelerate simple histogram calculation,
    # i.e. bins are consecutive integers
    # Currently, coo_matrix is faster than histogram2d for simple cases
    contingency = sp.coo_matrix((np.ones(class_idx.shape[0]),
                                 (class_idx, cluster_idx)),
                                shape=(n_classes, n_clusters),
                                dtype=np.int32)
    if sparse:
        contingency = contingency.tocsr()
        contingency.sum_duplicates()
    else:
        contingency = contingency.toarray()
        if eps is not None:
            # don't use += as contingency is integer
            contingency = contingency + eps
    return contingency
def fscore(labels_true, labels_pred, sparse=False):
    labels_true, labels_pred = check_clusterings(labels_true, labels_pred)
    n_samples, = labels_true.shape
    c = contingency_matrix(labels_true, labels_pred, sparse=True)
    tk = np.dot(c.data, c.data) - n_samples
    pk = np.sum(np.asarray(c.sum(axis=0)).ravel() ** 2) - n_samples
    qk = np.sum(np.asarray(c.sum(axis=1)).ravel() ** 2) - n_samples
    avg_pre = tk / pk
    avg_rec = tk / qk
    fscore = 2. * avg_pre * avg_rec / (avg_pre + avg_rec)
    return 100 * avg_pre, 100 * avg_rec, 100 * fscore
if __name__ == '__main__':
    labels_true = [0, 0, 0, 1, 1, 1]
    labels_pred = [5, 5, 3, 4, 4, 4]
    precision, recall, fscore = fscore(labels_true, labels_pred)
    print("precision:", precision, "recall:", recall, "fscore:", fscore)
    # precision: 100.0 recall: 66.66666666666666 fscore: 80.0
```

【深度学习】人脸聚类算法的评估指标程序，精准率、召回率、F1分数

![在这里插入图片描述](/static/img/images/00342.png)





# 基础

人脸检测：检测一张图中出现的人脸对象，属于目标检测任务；

人脸对齐（我这里特制仿射变换之类）：人脸在图像中可能是侧脸之类的，利用仿射变换可以把人脸纠正成正脸；

人脸识别：对比两张人脸图是否是同一个人的任务，人脸图是贴脸照，是人脸检测任务crop出来的人脸图，只含有人脸；

其他附属任务：利用人脸，分析年龄、性别、种族、是否佩戴口罩、是否佩戴眼镜；

其余介绍可以看[deepface](https://github.com/serengil/deepface)项目介绍。

由于deepface 中对齐做得不太好，整体效果显得较差。

深度学习 人脸识别 优秀开源项目 state-of-the-art SOTA deepface 项目 使用过程 教程

# 嵌套积分的上下限变化





一阶线性微分方程的通解是：

$$

y=\mathrm{e}^{-\int p(x) \mathrm{d} x}\left[\int \mathrm{e}^{\int p(x) \mathrm{d} x} \cdot q(x) \mathrm{d} x+C\right]

$$

也可以写为变限积分形式：

$$

y=\mathrm{e}^{-\int_{x_0}^x p(t) d t}\left[\int_{x_0}^x q(t) \mathrm{e}^{\int_{x_0}^t p(s) \mathrm{d} s} \mathrm{~d} t+C\right]

$$

我不理解写为变限积分形式的时候，为什么外面如果是dt的微元，里面的变限积分的下界是x0，上届就是t了。

解答：


在解释一阶线性微分方程的通解为何能写成变限积分形式时，我们需要理解积分上下限的选择和微元的含义。具体解释如下：

首先，我们从一阶线性微分方程的标准形式出发：

$$

\frac{dy}{dx} + p(x)y = q(x)

$$

通过使用积分因子的方法解这类方程，得到的通解为：

$$

y = \mathrm{e}^{-\int p(x) \, dx} \left[ \int \mathrm{e}^{\int p(x) \, dx} \cdot q(x) \, dx + C \right]

$$

为了更好地理解这个解的形式，我们可以回顾一下求解过程中的几个关键步骤：

1. **积分因子的引入**：

   设积分因子为 $\mu(x) = \mathrm{e}^{\int p(x) \, dx}$，通过将原方程乘以这个积分因子，可以将方程变为可分离变量的形式。

2. **方程两边积分**：

   将变换后的方程进行积分得到通解。

当我们使用变限积分的形式时，实际是应用了定积分的基本性质和积分因子的物理意义。

变限积分形式表示为：

$$

y = \mathrm{e}^{-\int_{x_0}^x p(t) \, dt} \left[ \int_{x_0}^x q(t) \mathrm{e}^{\int_{x_0}^t p(s) \, ds} \, dt + C \right]

$$

为了理解为何会这样写，我们可以进行如下推导和解释：

### 推导过程

考虑一般形式的解：

$$

y = \mathrm{e}^{-\int p(x) \, dx} \left[ \int \mathrm{e}^{\int p(x) \, dx} q(x) \, dx + C \right]

$$

定义 $\mu(x) = \mathrm{e}^{\int p(x) \, dx}$ 为积分因子，则我们可以重新写成：

$$

y = \frac{1}{\mu(x)} \left[ \int \mu(x) q(x) \, dx + C \right]

$$

由于 $\mu(x)$ 是 $\mathrm{e}^{\int p(x) \, dx}$，这也可以写成：

$$

y = \mathrm{e}^{-\int p(x) \, dx} \left[ \int \mathrm{e}^{\int p(x) \, dx} q(x) \, dx + C \right]

$$

现在，考虑用变限积分的形式重新表示这个解：

1. 定义从 $x_0$ 到 $x$ 的积分因子 $\mu(t) = \mathrm{e}^{\int_{x_0}^t p(s) \, ds}$，则 $\mu(x) = \mathrm{e}^{\int_{x_0}^x p(t) \, dt}$。

2. 将 $\mu(x)$ 替换回原公式中，可以得到：

   $$

   y = \frac{1}{\mu(x)} \left[ \int_{x_0}^x \mu(t) q(t) \, dt + C \right]

   $$

3. 进一步展开：

   $$

   y = \mathrm{e}^{-\int_{x_0}^x p(t) \, dt} \left[ \int_{x_0}^x \mathrm{e}^{\int_{x_0}^t p(s) \, ds} q(t) \, dt + C \right]

   $$

### 理解变限积分形式中的积分上下限

在变限积分形式中，内层积分的上限是 $t$，而下限是 $x_0$，外层积分的变量是 $t$。这是因为内层积分是对 $s$ 进行积分，且 $s$ 从 $x_0$ 到 $t$ 变化，而外层积分则是对 $t$ 进行积分，$t$ 从 $x_0$ 到 $x$ 变化。

这个形式的直观理解是：当我们从 $x_0$ 积分到 $x$ 时，每一步 $t$ 对应一个从 $x_0$ 到 $t$ 的内层积分。外层积分的变量 $t$ 决定了内层积分的上限，因此会有这种嵌套关系。


# 其他例题

我觉得这种嵌套的变换很有意思，是否还有其他例题或者例子可以给我，让我深入理解这种嵌套关系。

当然可以，嵌套积分的变换在数学分析和微分方程中是非常有用且常见的技巧。下面我给出几个例子和详细的解释，帮助你进一步理解这种嵌套关系。

### 例子 1: 利用变限积分计算定积分

设 $f(x)$ 是一个连续函数，我们要计算以下定积分：

$$

I = \int_{a}^{b} f(x) \, dx

$$

可以使用变限积分的思想，将这个定积分表示为一个累积函数的形式：

$$

F(x) = \int_{a}^{x} f(t) \, dt

$$

则 $I$ 可以写成：

$$

I = F(b) - F(a)

$$

#### 嵌套积分形式

我们可以用另一种方式表示这个定积分，将其嵌套形式化：

$$

I = \int_{a}^{b} f(x) \, dx = \int_{a}^{b} \left( \int_{a}^{x} \delta(t - x) f(t) \, dt \right) dx

$$

其中 $\delta(t - x)$ 是狄拉克δ函数，表示在 $t = x$ 处取值为 1，其余处为 0。这个表达式表明，我们可以将 $f(x)$ 看作一个从 $a$ 到 $x$ 的变限积分，然后再对 $x$ 积分。

### 例子 2: 一阶线性微分方程的解

还是从一阶线性微分方程出发：

$$

\frac{dy}{dx} + p(x)y = q(x)

$$

通过使用变限积分的形式，我们得到了通解：

$$

y = \mathrm{e}^{-\int_{x_0}^x p(t) \, dt} \left[ \int_{x_0}^x q(t) \mathrm{e}^{\int_{x_0}^t p(s) \, ds} \, dt + C \right]

$$

这里的嵌套积分关系可以通过逐步推导内外层积分的上下限变化来理解。

### 例子 3: 解一类特殊的二阶线性微分方程

考虑一个二阶线性微分方程：

$$

\frac{d^2y}{dx^2} + p(x)\frac{dy}{dx} + q(x)y = r(x)

$$

通过降阶方法，我们可以将其转化为两个一阶微分方程，设 $u = \frac{dy}{dx}$，则原方程可以写成：

$$

\frac{du}{dx} + p(x)u + q(x)y = r(x)

$$

和

$$

\frac{dy}{dx} = u

$$

将其解表示为变限积分形式：

1. 先解第一个方程，设 $v(x) = y$，则可以得到 $u$ 的解：

$$

u = \mathrm{e}^{-\int_{x_0}^x p(t) \, dt} \left[ \int_{x_0}^x r(t) \mathrm{e}^{\int_{x_0}^t p(s) \, ds} \, dt + C_1 \right]

$$

2. 再解第二个方程，得到 $y$ 的解：

$$

y = \int_{x_0}^x u(t) \, dt + C_2

$$

将 $u$ 的解代入得到 $y$ 的最终解，利用嵌套积分形式可以清晰地看到每一步的上下限变化。

### 例子 4: 格林函数法

在求解偏微分方程时，格林函数法常常涉及嵌套积分。例如，对于一个线性微分方程：

$$

L[y](x) = f(x)

$$

其解可以表示为：

$$

y(x) = \int_{a}^{b} G(x, t) f(t) \, dt

$$

其中 $G(x, t)$ 是格林函数。这里 $G(x, t)$ 本身通常是通过变限积分的形式定义的，如：

$$

G(x, t) = \int_{a}^{x} \delta(s - t) \, ds

$$

嵌套积分方法在这里用于构造解的形式，并可以通过改变积分上下限清晰地表示出解的范围和性质。

这些例子都展示了嵌套积分在不同数学问题中的应用，以及通过逐步变换积分上下限来构造解的过程。希望这些例子能帮助你更好地理解嵌套积分的变换和应用。

【数学】一阶线性微分方程的通解的变限积分形式

### 背景





小波变换是一种在信号处理中广泛应用的数学工具。与傅里叶变换不同，小波变换可以提供同时在时间和频率上的局部化信息。它通过缩放和平移基本小波函数来分析信号，适用于处理非平稳信号，如音频、图像和生物医学信号等。

### 公式

小波变换的基本公式如下：

1. **连续小波变换（CWT）**:

$$

W_\psi (a, b) = \frac{1}{\sqrt{|a|}} \int_{-\infty}^{\infty} x(t) \psi^*\left(\frac{t - b}{a}\right) dt

$$

2. **离散小波变换（DWT）**:

离散小波变换通过一系列滤波器实现，通常包括低通滤波器 $ h(n) $ 和高通滤波器 $ g(n) $。

### 示例题目

假设我们有一个简单的一维信号 $ x(t) = [1, 2, 3, 4, 5, 6, 7, 8] $，使用离散小波变换进行分析。

### 详细讲解

1. **选择小波函数**:

   常见的小波函数有Haar小波、Daubechies小波等。在这里，我们选择Haar小波作为例子。

2. **分解步骤**:

   - **第一级分解**: 

     使用低通滤波器和高通滤波器分别对信号进行滤波，并下采样，得到逼近系数和细节系数。

     - 逼近系数 (Approximation Coefficients): $ A_1 = [2.5, 6.5] $

     - 细节系数 (Detail Coefficients): $ D_1 = [-0.5, -0.5, -0.5, -0.5] $

   - **第二级分解**: 

     对第一级的逼近系数再进行一次低通和高通滤波并下采样。

     - 逼近系数 (Approximation Coefficients): $ A_2 = [4.5] $

     - 细节系数 (Detail Coefficients): $ D_2 = [-2] $

### Python代码求解
```python
import pywt
import numpy as np
# 原始信号
x = np.array([1, 2, 3, 4, 5, 6, 7, 8])
# 使用Haar小波进行离散小波变换
coeffs = pywt.wavedec(x, 'haar', level=2)
# 分解系数
A2, D2, D1 = coeffs
print("逼近系数 A2:", A2)
print("细节系数 D2:", D2)
print("细节系数 D1:", D1)
```

### 实际生活中的例子

在医学影像处理中，小波变换可以用于图像去噪和特征提取。例如，在处理脑电图（EEG）信号时，小波变换可以帮助提取特定频率成分，以检测异常活动如癫痫发作。与传统的傅里叶变换相比，小波变换能够在时频平面上提供更好的局部化信息，使得信号处理更为精细和准确。