自从深度学习火起来后，预训练过程就是做图像或者视频领域的一种比较常规的做法，有比较长的历史了，而且这种做法很有效，能明显促进应用的效果。那预训练在自然语言处理中优势怎样发展起来的呢？这里主要讲一下预训练这件事情在解决什么问题，用的是怎样的思路和方式，然后比较简单地介绍一下目前使用比较多的三个主流模型。
学术报告-算法-预训练在自然语言处理的发展-杨俊楠-v1.2-2019.10.123原创文章，作者：admin，如若转载，请注明出处：https://www.isclab.org.cn/2019/10/20/%e9%a2%84%e8%ae%ad%e7%bb%83%e5%9c%a8nlp%e7%9a%84%e5%8f%91%e5%b1%95/
随着大数据时代的来临和计算机算力的不断提升，机器学习模型迅速发展，成为计算机视觉、自然语言处理以及恶意软件检测等领域的研究热点。然而最近的研究发现，机器学习模型面临着严峻的安全威胁…
模糊测试是一种应用广泛的自动化漏洞挖掘方法，但当被测程序使用加密算法处理输入数据时，对输入数据的直接变异并不…
面对渴求大量数据的深度学习，数据扩增方法可以缓和一部分需求，但数据扩增方法往往只应用在有监督学习设定中，带来…
本次报告从计算机的总体结构切入，介绍的了计算机系统的分层体系结构；对操作系统及其内核的做了详细说明，包括操作系统与操作系统内核的关系，以及操作系统内核的主要功能等内容；报告还分析了…
本次报告主要讲述了padding的种类及其影响，介绍了卷积网络的基本概念和性质、使用padding的主要原因等，详细讲解了特征偏移和信息侵蚀的概念、表现及解决方案，最后对paddi…
人工智能系统面临着多种安全威胁，其中对抗样本攻击被广泛应用于诸如计算机视觉、自然语言处理、音频处理以及恶意软件检测等多个领域。本文介绍了常见的对抗样本检测方法和原理。特别的，简单分…
本次报告介绍一种基于图神经网络的中文短文本匹配模型，采用图结构的多粒度输入解决中文文本分词错误、不一致、歧义等问题造成的匹配性能下降问题。同时，报告介绍了文本匹配的研究现状，帮助大…
摘要：本报告介绍了web漏洞挖掘中的基本概念，实战通用方案及相关思路总结，进一步详细讲解了手工挖掘中存在的痛点问题，重点阐述了前沿自动化漏洞挖掘算法原理，分析其如何弥补手工挖掘的不…
当下投入使用的恶意软件检测系统日益增多，但同时还带来了大量的安全问题，如何有效地提高恶意软件检测系统的鲁棒性变成当下重要的课题。在这里，从攻击者的角度入手，面向恶意软件检测系统，着…
本报告介绍了APT攻击行为的基本概念，展示了APT攻击行为表示的方法原理，并分别讲述了面向恶意流量数据场景下的攻击行为检测技术和面向开源威胁情报场景下的攻击行为提取方法，最后简要梳…
