为什么在多头注意力中需要对每个 Head 进行降维
在 Transformer 模型中，多头注意力机制（Multi-Head Attention）是一个非常重要的组成部分。它通过并行地计算多个注意力头（Attention Head）来增强模型的表示能力。然而，为了控制计算复杂度和内存使用量，通常对每个注意力头进行降维。本文将详细分析这种设计背后的原因，并通过公式和代码展示多头注意力的实现过程。
如何在计算 Attention Score 时对 Padding 做 Mask 操作
在使用神经网络进行自然语言处理任务时，输入序列通常会有不同的长度。为了使得这些序列能够批处理输入，通常需要对较短的序列进行填充（Padding）操作。然而，在计算 Attention Score 时，这些填充部分不应参与运算。本文将详细讲解如何在计算 Attention Score 时对 Padding 做 Mask 操作。
Transformer中的Attention机制：为何选择点乘而非加法？
Transformer模型在自然语言处理中的广泛应用主要得益于其核心机制——Attention机制。Attention机制通过衡量不同单词之间的相关性，使模型能够捕捉长距离依赖关系。在Attention计算中，通常选择使用**点乘（Dot Product）**来衡量Query和Key之间的相关性。一个常见的问题是：为什么选择点乘而不是加法？本文将详细探讨两者在计算复杂度和效果上的差异，并给出相关代码示例。
为什么Transformer中Q和K使用不同的权重矩阵生成？
在Transformer架构中，自注意力机制依赖于查询（Query）、键（Key）、和值（Value）之间的关系。查询和键是生成注意力权重的关键元素，而值则是实际进行加权的元素。我们具体来分析为什么在生成Q和K时要使用不同的权重矩阵，而不能直接用同一个值进行自身点乘。
