自注意力机制，自注意力机制的作用

多头注意力机制和自注意力机制哪个好

多头注意力机制和自注意力机制，多头注意力机制好。自注意力机制就是通过运算来直接计算得到句子，在编码过程中每个位置上的注意力权重，再以权重和的形式来计算得到整个句子的隐含向量表示。

因此，多头注意力机制在处理复杂任务时表现出更高的效能和灵活性。这种并行处理多重信息的能力也使得多头注意力机制在诸多深度学习任务中得到广泛应用和关注。

总的来说，多头自注意力机制在计算效率、空间分辨率以及并发度上优于单头自注意力机制，并且在处理特定任务时表现出高效的性能。

注意力机制到底是什么?

注意力是一种机制，或者方法论，并没有严格的数学定义。比如，传统的局部图像特征提取、显著性检测、滑动窗口方法等都可以看作一种注意力机制。在神经网络中，注意力模块通常是一个额外的神经网络，能够硬性选择输入的某些部分，或者给输入的不同部分分配不同的权重。

注意力机制可以使用两种方式传递隐藏状态：一是只传递最后一步的隐藏状态；二是传递所有步骤的隐藏状态。通过给每个单词打分（评分），最终加权求和得到加权向量，该向量与解码器的隐藏状态拼接，形成新的输入，从而改变每个单词在解码过程中的注意力。

总的来说，注意力机制是深度学习中的关键组件，它通过智能地分配注意力，使得模型能够更好地理解和处理复杂数据，从而提升预测和决策的准确性。

Transformer学习笔记二:Self-Attention(自注意力机制)

1、Transformer系列笔记将继续探讨核心组件之一的Self-Attention（自注意力机制）。笔记将逐步涵盖：注意力机制的基本框架、Attention Score的计算方法，包括Dot product、Additive product和Scaled dot product（Transformer论文中的常用方法）、Masked Attention以及Multihead Attention的实现方式和可视化。

2、同样，计算Self-Attention需要三个参数Q，K，V去计算注意力机制矩阵，这里重新定义了计算方式，如下 self-attention得到的注意力矩阵同上 masked self-attention得到的注意力矩阵与上面有点不同，这里的masked就是要在做翻译的时候，不给模型看到未来的信息。

3、Transformer模型的核心创新在于自注意力（Self-Attention）机制，它强调了“注意力即所需”。在处理文本时，该机制赋予模型在处理每个单词时根据其重要性给予不同权重的能力，这符合语言中单词重要性各异的逻辑。例如，主语和谓语通常比其他成分更重要。

4、年，google机器翻译团队发表的《Attention is all you need》中大量使用了自注意力（self-attention）机制来学习文本表示。自注意力机制也成为了大家近期的研究热点，并在各种NLP任务上进行探索 [1] 。