自从深度学习火起来后，预训练过程就是做图像或者视频领域的一种比较常规的做法，有比较长的历史了，而且这种做法很有效，能明显促进应用的效果。那预训练在自然语言处理中优势怎样发展起来的呢？这里主要讲一下预训练这件事情在解决什么问题，用的是怎样的思路和方式，然后比较简单地介绍一下目前使用比较多的三个主流模型。
学术报告-算法-预训练在自然语言处理的发展-杨俊楠-v1.2-2019.10.123原创文章，作者：admin，如若转载，请注明出处：https://www.isclab.org.cn/2019/10/20/%e9%a2%84%e8%ae%ad%e7%bb%83%e5%9c%a8nlp%e7%9a%84%e5%8f%91%e5%b1%95/
针对神经网络模型的缺陷测试使用了神经元覆盖率指标指导测试，这是一种从软件测试领域迁移的概念，指的是测试激活的神经元越多，测试越充分。但是近年来这种测试方法的有效性存疑，特别是测试生…
二进制函数相似性分析在1-Day漏洞检测、代码克隆检测、恶意软件检测、软件剽窃检测和自动软件修复等多个应用领域中具有广泛的应用。本次学术报告主要讲解了二进制函数相似性分析任务的研究…
目前音频处理领域各种系统的参数优化研究，通常把系统的各个层次（一般包括特征提取、特征向量生成、模型训练等）割裂开来进行相互独立的参数寻优，再将独立寻优结果进行简单组合，构成系统的参…
同源函数是由相同源码编译得到的程序函数。同源漏洞判别是漏洞挖掘的主要方法之一，用于发现已知漏洞的同源漏洞。本次报告主要汇报基于汇编指令嵌入的同源漏洞判别方法，介绍了汇编指令嵌入的基…
1.环境感知型恶意软件使用的反检测方法及实例 2.部分高水平文献中的反检测算法原理 3.反检测技术的对抗策略
极端多标签文本分类旨在为每个文本分配大量可能的标签，处理标签数量巨大和数据稀疏性问题。该技术通过高效的特征选择、标签嵌入和深度学习模型，提高分类准确性和速度。极端多标签文本分类广泛…
1.认识漏洞 1.1.漏洞的定义 百度：漏洞是在硬件、软件、协议的具体实现或系统安全策略上存在的缺陷，从而可以使攻击者能够在未授权的情况下访问或破坏系统。 Wikip…
着大数据和人工智能技术的飞速发展，知识图谱已成为表示和存储结构化知识的重要工具，其中时序知识图谱则进一步强调了事件随时间演变的重要性。本次学术报告致力于讲解时序知识图谱推理方法，重…
人工智能模型安全是人工智能应用落地需要考量的重要问题，后门攻击威胁是人工智能模型安全的重要议题。本次学术报告以深度神经网络为后门攻击的对象，从深度神经网络训练的内部机理出发，通过了…
随着大语言模型生成文本规模持续扩大，跨模型、跨领域场景下的机生文本检测面临泛化性不足的挑战。本次学术报告从文本生成机制出发，系统介绍了基于前文记忆建模与多范围写作策略差异的代表性方…
