您现在所在的位置:首页 >> 科学研究 >> 共享资源 >> 学术报告 >>
发布日期:2018年12月17日
学术报告-Transformer中的Multi-Head Attention

      注意力(Attention)机制被广泛应用到基于深度学习的自然语言处理(NLP)各个任务中。随着注意力机制的深入研究,各式各样的attention被研究者们提出。在2017年6月google机器翻译团队在arXiv上放出的《Attention is all you need》论文,最后发表在2017年nips上,到目前为止google学术显示引用量为886,可见也是受到了大家广泛关注和应用。这篇论文主要亮点在于1)不同于以往主流机器翻译使用基于RNN的seq2seq模型框架,该论文用attention机制代替了RNN搭建了整个模型——Transformer。2)提出了Multi-Head Attention方法,在编码器和解码器中大量的使用了Multi-Head Attention。此次学术报告将对Multi-Head Attention的原理和应用做详细的介绍。

附件-Transformer中的Multi-Head Attention.pdf