您现在所在的位置:首页 >> 科学研究 >> 共享资源 >> 学术报告 >>
发布日期:2019年10月29日
学术报告-深度学习中的Normalization

      Batch Normalization(BN)自从提出之后,因为效果特别好,很快被作为深度学习的标准工具应用在了各种场合。BN大法虽然好,但是也存在一些局限和问题,诸如当BatchSize太小时效果不佳、对RNN等动态网络无法有效应用BN等。针对BN的问题,最近两年又陆续有基于BN思想的很多改进Normalization模型被提出。BN是深度学习进展中里程碑式的工作之一,无论是希望深入了解深度学习,还是在实践中解决实际问题,BN及一系列改进Normalization工作都是绕不开的重要环节。

附件-深度学习中的Normalization.pdf