在训练层数较多的神经网络的过程中，使用基于反向传播的梯度优化算法来优化参数有可能会遇到梯度消失或梯度爆炸的问题。本次报告从公式推导角度剖析深度学习中发生梯度消失和爆炸的原因，并介绍相应的七种解决方案。
原创文章，作者：admin，如若转载，请注明出处：https://www.isclab.org.cn/2018/05/21/%e6%a2%af%e5%ba%a6%e6%b6%88%e5%a4%b1%e5%92%8c%e6%a2%af%e5%ba%a6%e7%88%86%e7%82%b8%e7%9a%84%e5%8e%9f%e5%9b%a0%e5%8f%8a%e8%a7%a3%e5%86%b3%e6%96%b9%e6%a1%88/
针对开源软件库输入构建需要符合特定编程语言语法规范的问题，现有研究方法分别从构建模型输入和构建API输入两条路线出发，。LEMON方法针对缺陷引起的极小输出差异难以被察觉的问题，采…
最新的特定安全攻防场景可以细化为两个研究方向：匿名通信网络的网站指纹防御和僵尸网络的域名生成，以此来介绍对抗样本在防御任务和攻击任务中的应用。网站指纹攻击可以从网站中提取流量模式，…
随着智慧教育系统（Intelligent Tutoring System, ITS）的快速发展，ITS以其时空约束少、便捷程度高和个性化定制学习的优势，在现代教育事业中获得广泛关注…
本次报告介绍一种基于图神经网络的中文短文本匹配模型，采用图结构的多粒度输入解决中文文本分词错误、不一致、歧义等问题造成的匹配性能下降问题。同时，报告介绍了文本匹配的研究现状，帮助大…
本报告介绍了深度神经网络鲁棒性评估方法的基本概念和评估方式，并讲述了两种评估方法，分别从定性分析和定量计算两个角度讲述了如何对鲁棒性进行评估，提升对深度神经网络鲁棒性和评估方法的认…
集成学习是机器学习领域中提升单一模型学习效果的典型方法，而Boosting则是集成学习中常用且效果良好的算法之一。通过将Weak learner巧妙地组合成Strong lea…
条件随机场（conditional random fields）是一种满足马尔可夫性质的条件概率图模型。它很好地解决了隐马尔可夫模型…
网络嵌入（Network Embedding）是针对网络中节点进行特征学习的一项新兴的研究任务，它旨在将网络中的节点表示成低维、实值、稠密的向量形式，使得得到的向量形式可以在向量空…
日志生成的系统溯源图能够记录实体的依赖关系，通过溯源图的后向跟踪和前向跟踪，可实现攻击的溯源。但是随着溯源深度的增加，上下游实体之间的依赖关系呈现指数级爆炸，无法有效溯源。本次学术…
注意力机制应用在encoder-decoder模型中，可以使Decoder根据时刻的不同，让每一时刻的输入都…
