3.多头注意力机制
Q、K、V是相对矩阵，softmax得到了相似度，是一个向量，最后乘V得到加权和向量。
获取Q、K、V的方法：
在使用W参数时，每一个Head有一套W参数，所有的输入都是用这套参数，多个Head就有多套W参数，一般就是8套不同的W参数；多头使得建模能力更强，表征空间更丰富；多头可以类比于CNN中的多通道卷积，来探索不同空间中的信息。
之所以在Q*K时要除以dk的平方根，是为了防止Q*K很大时，softmax反向传播时梯度很小，容易造成梯度消失的情况，之所以除的值是dk的平方根，是为了保证方差为1。
计算相似度有3种方式：
- 点乘
得到的是一个向量在另一个向量上的长度，是一个标量，反映两个向量之间的相似度，两个向量越相似，点乘的结果也越大 - MLP（多层网络）
- cosine相似性
实际操作中通过矩阵（多个单词的embedding）来实现并行：
同时，在编码器端，Q、K、V是相同的，都是输入经过Embedding和位置编码得到的输出，即都是在EncoderLayer的输入；会使用线性Linear模型做映射，得到参数矩阵Wq、Wk、Wv。
在实际计算Q*K时，是相当于计算了一个句子中各个词之间的关联度，如下：
实际上，Q和K是两个相同的矩阵，左边极为Q与K的转置相乘的结果，可以看到，在计算一个词与句子中其他词的关联度时，也将Pad考虑了进来，但是实际上在进行softmax时不应该考虑Pad，此时就可以将Pad位置置为1，其他正常位置为0，以后在计算时就可以排除值为1的位置，消除pad带来的影响，具体就是使用了masked_fill_(mask, value)方法来实现用value填充tensor中与mask中值为1的位置相对应的元素，具体是将mask中为1的位置全部置为负无穷小、消除softmax时对其他词的影响。
这样效果好的原因是相当于将原始信息达到了多个空间，保证了Transformer可以注意到不同子空间的信息，捕捉到更多的特征信息。同时，不同的Head使用不同的参数，但是输入（Q、K、V）都是Embedding和PE的和，最终每个Head单独计算得到一个Attention。
最后合并多个Head的输出（attention向量），并进入一个FNN得到最终的向量：
4.残差连接
残差示意图如下：
链式求导如下：
梯度消失的原因一般是连乘造成的，但是从图中可以看到，因为前面加了1，即使连乘的数量再多、变为趋近于0，确保了红框中的值≥1，从而保证了梯度不会变为0，缓解了梯度消失的出发生，这也是在NLP任务中用到残差的网络可以使得网络很深的原因。
再想到RNN，一般很少有多个RNN叠在一起，一般就是单层RNN，或者双向LSTM，再复杂的就是ELMO（双层双向LSTM），训练已经很慢了，如果单纯用RNN想把模型做深难度很大。GNMT（谷歌神经机器翻译）更深，用了很多技巧加速训练。此时就可以用到残差，因为其可以缓解梯度消失，可以将模型做得更深。
阿里的RE2文本匹配模型使用了N-block的循环，用到了残差网络，因为block越多、模型越深，残差可以缓解梯度消失、保证模型可以做得更深，避免出现模型难以训练的情况。
