神经网络，Transformer，informer 注意力机制，多头注意力机制是对传统注意力机制的一种改进。在传统注意力机制中，模型通常通过计算输入序列中每个元素与当前关注点的相关性得分，来分配不同的注意力权重。