Batch Normalization（BN）自从提出之后，因为效果特别好，很快被作为深度学习的标准工具应用在了各种场合。BN大法虽然好，但是也存在一些局限和问题，诸如当BatchSize太小时效果不佳、对RNN等动态网络无法有效应用BN等。针对BN的问题，最近两年又陆续有基于BN思想的很多改进Normalization模型被提出。BN是深度学习进展中里程碑式的工作之一，无论是希望深入了解深度学习，还是在实践中解决实际问题，BN及一系列改进Normalization工作都是绕不开的重要环节。
Normalization-苏霞-v1.2-2019.10.20原创文章，作者：admin，如若转载，请注明出处：https://www.isclab.org.cn/2019/10/29/%e6%b7%b1%e5%ba%a6%e5%ad%a6%e4%b9%a0%e4%b8%ad%e7%9a%84normalization/
本次学术报告主要给大家详细的介绍DQN算法原理及其调参细节，并且进行举例说明和总结以加深大家的理解。
机器学习模型一般可化简为求解一个目标函数/损失函数的最优化问题，根据优化目标及约束的不同，可划分为凸优化（C…
代码变更表示学习技术通常将代码变更进行结构化或序列化的中间表示，并将中间表示输入到表示学习模型以获取代码变更中更细粒度的特征，是众多软件工程任务的重要环节之一。本次报告介绍了2类任…
后门防御旨在使用神经元剪枝、知识蒸馏等手段消除模型中隐藏的后门，阻止攻击者使用触发器样本控制深度学习模型的输出。本次学术报告主要讲解了两种以对抗性扰动和后门攻击关系为基础的后门防御…
表格数据生成能为深度学习扩充不平衡数据，同时也能避免隐私问题，研究如何生成高保真表格数据具有重要意义。本次报告分析了各个生成模型的优劣，以及GAN在表格数据领域的创新思路。
本报告介绍了深度神经网络鲁棒性评估方法的基本概念和评估方式，并讲述了两种评估方法，分别从定性分析和定量计算两个角度讲述了如何对鲁棒性进行评估，提升对深度神经网络鲁棒性和评估方法的认…
人工智能模型安全是人工智能应用落地需要考量的重要问题，后门攻击威胁是人工智能模型安全的重要议题。本次学术报告以深度神经网络为后门攻击的对象，从深度神经网络训练的内部机理出发，通过了…
主要探讨大语言模型的越狱攻击，阐述其研究背景、意义，历史与现状。而后涉及 EnDec和 ActorAttack 算法讲解，包含算法简介，以及算法的具体流程，通过实验对比展示其性能，…
研究文本生成大模型的后门攻击，揭示了现有文本大模型的后门风险。本次学术报告详细介绍了现有文本生成模型的后门分类方法以及基准数据集，在文本大模型的多个下游任务实现了后门攻击，并总结了…
