自从深度学习火起来后，预训练过程就是做图像或者视频领域的一种比较常规的做法，有比较长的历史了，而且这种做法很有效，能明显促进应用的效果。那预训练在自然语言处理中优势怎样发展起来的呢？这里主要讲一下预训练这件事情在解决什么问题，用的是怎样的思路和方式，然后比较简单地介绍一下目前使用比较多的三个主流模型。
学术报告-算法-预训练在自然语言处理的发展-杨俊楠-v1.2-2019.10.123原创文章，作者：admin，如若转载，请注明出处：https://www.isclab.org.cn/2019/10/20/%e9%a2%84%e8%ae%ad%e7%bb%83%e5%9c%a8nlp%e7%9a%84%e5%8f%91%e5%b1%95/
本报告介绍了强化学习领域基本概念，详细介绍了Q-Learning算法和Deep Q Learning算法的原理，简要梳理了了两种算法的发展脉络，以经典案例windy grid-wo…
本次报告主要讲述了Android第三方库检测的相关内容。介绍了第三方库的基本概念和相关研究，解释了第三方库检测的基本方法，详细讲解其中的相似性对比方法，主要针对库检测和库版本识别进…
本次报告围绕环境注入攻击展开，首先阐述了环境注入攻击的基本概念、研究背景和研究意义，然后介绍了环境注入攻击的研究现状。接着详细介绍了EIA和eTAMP两种具备代表性的方法，包括各自…
本报告讲述了隐私计算技术体系的整体架构及主要理论，给出了迁移学习及领域自适应问题的基本概念，通过详细介绍隐私保护政策下最新的去中心化无监督领域自适应论文以及基于隐私保护的模型联邦个…
协同训练是一种多视角学习方法，当数据充分时，在具有这种特征的数据集的任何一个视图上均可以利用一定的机器学习算法训练出一个强分类器。但…
本报告围绕“源代码安全补丁存在性测试”展开，聚焦于如何自动识别开源软件中的安全补丁，解决安全补丁与普通补丁混杂、厂商静默发布、攻击窗口缩短等问题，介绍了一种结构感知的检测方法——R…
随着网络技术的飞速发展，其安全问题日益突出。虽然已经采取了多种网络安全防护措施，但是单一的安全防护措施没有综合考虑各种防护措施之间的关联性，无法从宏观角度评估网络安全性。网络安全态…
本次报告介绍了源代码变更表征领域，其属于源代码表征领域的进一步研究工作，报告首先介绍领域研究目标、背景意义、发展脉络与基础框架，梳理显式与隐式信息交互两类代码变更表示学习方法；随后…
文本-图像生成模型在当今生活中有广泛应用，最新研究表明，这类多模态的生成模型也面临着安全风险，例如对抗样本攻击、成员推理攻击和后门攻击等。本次学术报告介绍了文本-图像生成模型最新的…
