Transformer模型中的LayerNorm与BatchNorm：为什么选择LayerNorm？

Transformer模型作为自然语言处理和机器翻译任务中的重要架构，其每个模块中使用的正则化方法对模型性能有着显著影响。通常，Transformer选择使用Layer Normalization（LayerNorm）而非Batch Normalization（BatchNorm）。本文将深入分析LayerNorm与BatchNorm的差异、LayerNorm在Transformer中的位置以及为何LayerNorm更适合Transformer模型。

为什么在获取输入词向量之后需要对矩阵乘以embedding size的开方？

在自然语言处理(NLP)任务中，词向量（Word Embedding）是一种将单词表示为固定大小向量的技术，通常使用的方法包括Word2Vec、GloVe和Transformer中的embedding层。无论使用哪种方法，将输入转化为词向量后，通常需要对其做归一化或缩放处理，而其中一种常见操作是在获取词向量矩阵后，乘以embedding size的开方。本文将深入探讨这种操作的原因与意义，并通过公式和代码示例详细解释。

Transformer 的 Encoder 模块详解

Transformer 是一种基于注意力机制的神经网络结构，由 Encoder 和 Decoder 两个主要部分组成。本文将深入分析 Transformer 的 Encoder 模块，详细讲解其内部结构、公式和实现细节，并提供相应的代码示例，帮助读者全面理解 Transformer Encoder 模块的工作原理。

为什么在多头注意力中需要对每个 Head 进行降维

在 Transformer 模型中，多头注意力机制（Multi-Head Attention）是一个非常重要的组成部分。它通过并行地计算多个注意力头（Attention Head）来增强模型的表示能力。然而，为了控制计算复杂度和内存使用量，通常对每个注意力头进行降维。本文将详细分析这种设计背后的原因，并通过公式和代码展示多头注意力的实现过程。

如何在计算 Attention Score 时对 Padding 做 Mask 操作

在使用神经网络进行自然语言处理任务时，输入序列通常会有不同的长度。为了使得这些序列能够批处理输入，通常需要对较短的序列进行填充（Padding）操作。然而，在计算 Attention Score 时，这些填充部分不应参与运算。本文将详细讲解如何在计算 Attention Score 时对 Padding 做 Mask 操作。