DL

NLP的核心任务包括理解和合成。文章介绍了输入预处理的各种方法，如分词、统一大小写（case folding）、去除停用词、词干提取和词形还原等，并讨论了每种方法可能带来的利弊。这些技术对于提高效率有帮助，但需根据具体任务进行选择。

本文主要介绍了输入向量、自注意力机制的概念和作用，并讨论了它们在BERT模型中的实现。同时，提到self-attention层的依赖性可以被feed-forward层解决。