Batch Normalization（BN）自从提出之后，因为效果特别好，很快被作为深度学习的标准工具应用在了各种场合。BN大法虽然好，但是也存在一些局限和问题，诸如当BatchSize太小时效果不佳、对RNN等动态网络无法有效应用BN等。针对BN的问题，最近两年又陆续有基于BN思想的很多改进Normalization模型被提出。BN是深度学习进展中里程碑式的工作之一，无论是希望深入了解深度学习，还是在实践中解决实际问题，BN及一系列改进Normalization工作都是绕不开的重要环节。
Normalization-苏霞-v1.2-2019.10.20原创文章，作者：admin，如若转载，请注明出处：https://www.isclab.org.cn/2019/10/29/%e6%b7%b1%e5%ba%a6%e5%ad%a6%e4%b9%a0%e4%b8%ad%e7%9a%84normalization/
随着图神经网络的广泛应用，以及越来越多的组织和企业关注内部威胁，利用图挖掘的方法检测内部威胁受到越来越多研究者的重视。本次报告介绍了利用图挖掘内部威胁检测方法的整体架构，以及如何从…
认知诊断广泛适用于教育教学、临床测量等需要评估用户认知状态的场景。研究智能教育领域下的认知诊断有助于发现学生的认知缺陷，从而进行个性化精准干预。本次学术报告讲述了认知诊断的基本概念…
联邦大模型将联邦学习与大语言模型相结合，遵循“数据不动、模型动”的原则，在无需集中原始数据的前提下，共同训练与优化大模型。该技术能有效破解数据孤岛，为医疗、教育等领域提供隐私安全的…
本次报告围绕大模型指导的协议模糊测试技术展开，首先阐述了大模型指导的协议模糊测试的基本概念、研究背景和研究意义，然后介绍了传统协议模糊测试方法的特点与优劣势，并介绍了大模型指导的协…
代码自动编辑任务通过应用频繁出现的编辑模式对现有代码进行修改，能够提升软件开发的效率。CODIT方法将代码编辑过程建模为树结构变换和标记生成两个阶段。MODIT方法输入整合需要编辑…
本次报告介绍一种域自适应网络嵌入框架DANE，该框架解决了嵌入空间偏移和嵌入分布偏移的问题。在DANE中，来自多个网络的节点通过一组共享的可学习参数被编码为向量，以便向量共享对齐的…
表格数据生成能为深度学习扩充不平衡数据，同时也能避免隐私问题，研究如何生成高保真表格数据具有重要意义。本次报告分析了各个生成模型的优劣，以及GAN在表格数据领域的创新思路。
文本相似度度量是自然语言处理中的一个基础问题，是许多下游任务的基础，如文本分类、信息检索、对话系统、句义标注等。相似度匹配的过程包括了构造特征与度量特征两个基本步骤，其中构造特征是…
本次报告围绕大模型赋能的渗透测试技术展开，首先阐述了渗透测试的基本概念、研究背景和研究意义，然后介绍了传统自动化渗透测试方法的特点与优劣势，并介绍了大模型赋能的渗透测试方法的研究现…
