NLP

NLP的核心任务包括理解和合成。文章介绍了输入预处理的各种方法，如分词、统一大小写（case folding）、去除停用词、词干提取和词形还原等，并讨论了每种方法可能带来的利弊。这些技术对于提高效率有帮助，但需根据具体任务进行选择。

本文主要介绍了输入向量、自注意力机制的概念和作用，并讨论了它们在BERT模型中的实现。同时，提到self-attention层的依赖性可以被feed-forward层解决。

NLP处理阶段包括词法、句法、语义和普适性，知识图谱通过实体抽取和关系抽取构建，并使用BERT模型进行微调。