您现在所在的位置:首页 >> 科学研究 >> 共享资源 >> 学术报告 >>
发布日期:2019年10月20日
学术报告-预训练在NLP的发展

      自从深度学习火起来后,预训练过程就是做图像或者视频领域的一种比较常规的做法,有比较长的历史了,而且这种做法很有效,能明显促进应用的效果。那预训练在自然语言处理中优势怎样发展起来的呢?这里主要讲一下预训练这件事情在解决什么问题,用的是怎样的思路和方式,然后比较简单地介绍一下目前使用比较多的三个主流模型。

附件-预训练在自然语言处理的发展.pdf