Batch Normalization（BN）自从提出之后，因为效果特别好，很快被作为深度学习的标准工具应用在了各种场合。BN大法虽然好，但是也存在一些局限和问题，诸如当BatchSize太小时效果不佳、对RNN等动态网络无法有效应用BN等。针对BN的问题，最近两年又陆续有基于BN思想的很多改进Normalization模型被提出。BN是深度学习进展中里程碑式的工作之一，无论是希望深入了解深度学习，还是在实践中解决实际问题，BN及一系列改进Normalization工作都是绕不开的重要环节。
Normalization-苏霞-v1.2-2019.10.20原创文章，作者：admin，如若转载，请注明出处：https://www.isclab.org.cn/2019/10/29/%e6%b7%b1%e5%ba%a6%e5%ad%a6%e4%b9%a0%e4%b8%ad%e7%9a%84normalization/
具有大量参数的深度神经网络是非常强大的机器学习系统。然而，在这样复杂的网络中，过拟合的问题难以解决。复杂的网络结构和缓慢的运行速度导致我们很难在测试时通过组合许多不同大型神经网络的…
智能模型的不确定性是模型内生脆弱性问题的重要表征之一，反映了模型对输入数据预测结果的可信程度，包含了对数据和模型两方面缺陷的量化估计。本次报告介绍了模型不确定性估计工作基本概念，讲…
这次报告讲解了网络表示学习的基本概念，对LINE算法的原理进行了深入讲解，并对网络表示学习算法的应用场景做了…
联邦大模型将联邦学习与大语言模型相结合，遵循“数据不动、模型动”的原则，在无需集中原始数据的前提下，共同训练与优化大模型。该技术能有效破解数据孤岛，为医疗、教育等领域提供隐私安全的…
TCP协议是面向连接的可靠数据传输协议，如何在不可靠协议IP协议的上层实现可靠数据传输，主要通过差错检验、分…
智能化系统越来越多地部署在对安全性至关重要的领域中，包括无人驾驶汽车和恶意软件检测。在这些领域中，系统行为的正确性和可预测性对于极端案例输入是至关重要的。软件测试作为软件部署前的重…
本报告重点讲解了AI测试的发展历史，从2007年Murphy等人认为AI系统是不可测试到后续变形测试、差分测试、覆盖测试、突变测试等传统测试方法的引入，再到正确性、鲁棒性、隐私性、…
高斯混合模型（Gaussian mixture model，GMM）用于对样本的概率密度分布进行估计，而估计…
联邦学习在保证数据安全和隐私的情况下解决了数据孤岛和数据碎片化问题，主要分为横向联邦学习、纵向联邦学习和联邦迁移学习。本次学术报告首先介绍联邦学习的历史现状、分类及应用场景，然后通…
