厄尼

在我们之前的雷达版本中伯特-这是自然保护区的一个重要里程碑。去年，百度发布厄尼在7个GLUE语言理解任务和9个中文自然语言处理任务中表现优于BERT。与BERT一样，ERNIE提供了无监督的预训练语言模型，可以通过添加输出层来进行微调，为各种NLP任务创建最先进的模型。ERNIE与传统的前训练方法不同，它是一个持续的前训练框架。它可以不断引入各种各样的前训练任务来帮助模型有效地学习语言表征，而不是使用少量的前训练目标进行训练。我们对NLP的进步感到非常兴奋，并期待在我们的项目中使用ERNIE进行试验。