Batch Normalization（BN）自从提出之后，因为效果特别好，很快被作为深度学习的标准工具应用在了各种场合。BN大法虽然好，但是也存在一些局限和问题，诸如当BatchSize太小时效果不佳、对RNN等动态网络无法有效应用BN等。针对BN的问题，最近两年又陆续有基于BN思想的很多改进Normalization模型被提出。BN是深度学习进展中里程碑式的工作之一，无论是希望深入了解深度学习，还是在实践中解决实际问题，BN及一系列改进Normalization工作都是绕不开的重要环节。
Normalization-苏霞-v1.2-2019.10.20原创文章，作者：admin，如若转载，请注明出处：https://www.isclab.org.cn/2019/10/29/%e6%b7%b1%e5%ba%a6%e5%ad%a6%e4%b9%a0%e4%b8%ad%e7%9a%84normalization/
2018年初，推测执行攻击Spectre的出现表明，一些软件尽管通过了如模糊测试、符号执行等技术的安全检测，但是在执行过程中，攻击者还是可以通过推测执行窃取重要信息。而且，推测执行…
背景知识 序列标注模型被广泛应用于文本处理相关领域，例如分词、词性标注、命名实体识别等方面。现有的序列标注模型主要有HMM，MEMM 以及 CRF，通过对这几种自然语言处理中常用的…
卷积神经网络可以有效提取空间特征，但是它研究的对象还是限制在具有规则空间结构的欧几里得数据。本次学术报告重点…
深度学习模型校准技术是模型预测可靠性的重要保障手段之一，其通过正则化或后处理方法调节模型对样本实例上的置信度，使其与预测的真实概率良好匹配。本次报告介绍了深度学习模型校准的基本概念…
联邦学习（Federated Learning）在2016年由谷歌最先提出，其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或…
认知诊断是研究学习者学习行为，分析挖掘基于这些行为的认知状态的方法。知识认知诊断的前沿方法旨在通过准确预测学习者的表现和深入分析其认知能力，推动个性化学习体验的优化。这一方法为教育…
逆向思维应用在学习、工作中的方方面面，学术报告中介绍了逆向分析的概念及应用，通过微信的破解演示展示了软件逆向的过程。在最后针对软件发布后可能存在的被调试、被破解风险，介绍了几种软件…
假设检验是数理统计学中根据一定假设条件由样本推断总体的一种方法，其基本思想是应用小概率原理。在假设检验中常见的P值是进行检验决策的依据之一，反映某一事件发生的可能性大小。比较常…
文本相似度度量是自然语言处理中的一个基础问题，是许多下游任务的基础，如文本分类、信息检索、对话系统、句义标注等。相似度匹配的过程包括了构造特征与度量特征两个基本步骤，其中构造特征是…
