自从深度学习火起来后，预训练过程就是做图像或者视频领域的一种比较常规的做法，有比较长的历史了，而且这种做法很有效，能明显促进应用的效果。那预训练在自然语言处理中优势怎样发展起来的呢？这里主要讲一下预训练这件事情在解决什么问题，用的是怎样的思路和方式，然后比较简单地介绍一下目前使用比较多的三个主流模型。
学术报告-算法-预训练在自然语言处理的发展-杨俊楠-v1.2-2019.10.123原创文章，作者：admin，如若转载，请注明出处：https://www.isclab.org.cn/2019/10/20/%e9%a2%84%e8%ae%ad%e7%bb%83%e5%9c%a8nlp%e7%9a%84%e5%8f%91%e5%b1%95/
本次报告介绍了超参数的概念和对模型的影响，解释了超参数与模型参数的区别，详细讲解了网格搜索、随机搜索、贝叶斯优化三种优化方法，分析其使用场景及优缺点，最后列举了三种实用的开源调优工…
半监督学习(Semi-Supervised Learning，SSL)是模式识别和机器学习领域研究的重点问题，是监督学习与无监督学习相结合的一种学习方法。本次报告首先讲述了半监督学…
本次学术报告面向基于深度学习的二进制软件漏洞挖掘，首先定义二进制缺陷检测子任务的基本概念和TIPO，其后介绍模糊测试、符号执行等动态缺陷检测方法，最终具体讲解了三种基于深度学习的二…
本报告介绍了深度神经网络模型窃取检测的三种方法，从算法思想，实验结果，算法分析三个角度对已有算法进行贯穿式总结，阐述了模型窃取检测领域的难点，提升对模型安全领域问题的认识
本次报告介绍了模糊测试以及各种分类方法，并且讲解了目前流行的模糊测试工具AFL的原理，阐明了AFL工具是如何提高代码覆盖率的。针对AFL存在的测试用例生成盲目性的问题，介绍了一种基…
人工智能技术在决策系统等领域发挥了重要作用。用于模型训练的数据集中含有显示或者隐式的敏感属性，模型往往会利用敏感属性的特征做出决策，导致人工智能模型在公平性方面出现偏差，产生严重的…
Java虚拟机实现了自动内存管理机制，包括自动内存分配和自动垃圾回收，大大避免了由于代码错误导致的内存泄漏和溢出，得到大量开发者青睐…
跨语言词向量(corss-lingual word embeddings)是一种的对单语言环境下的模型进行多语言扩展的有效手段。通过…
深度学习模型的鲁棒性解释方法旨在提升模型在面对输入扰动或对抗攻击时的解释一致性，是增强模型可信性和应用价值的重要研究方向。本次学术报告介绍了该领域的研究背景与发展现状，重点阐述了M…
源代码表征是软件工程中的一个重要研究领域，主要关注如何有效地将源代码转化为可以支持各种软件工程任务（如代码搜索、克隆检测、代码自动生成等）的数学模型或数据结构。这些表征通常需要捕获…
