伯特

伯特表示transformer中的双向编码器表示;这是一种训练前语言表征的新方法，由研究人员于2018年10月在谷歌发表。BERT通过在大量的自然语言处理任务中获得最先进的结果，显著地改变了自然语言处理(NLP)的格局。基于Transformer架构，它在训练期间从令牌上下文的左右两边学习。谷歌还发布了预先训练过的通用BERT模型，这些模型是在包括Wikipedia在内的大量无标签文本的语料库上训练的。开发人员可以在特定于任务的数据上使用和微调这些预先训练过的模型，并取得很好的结果。我们讨论过NLP的迁移学习在我们2019年4月版的Radar中;BERT及其后继者继续使NLP的迁移学习成为一个非常令人兴奋的领域，大大减少了用户处理文本分类的工作量。