Transformer

摘要内容

本文主要介绍了输入向量、自注意力机制的概念和作用，并讨论了它们在BERT模型中的实现。同时，提到self-attention层的依赖性可以被feed-forward层解决。