自从深度学习火起来后，预训练过程就是做图像或者视频领域的一种比较常规的做法，有比较长的历史了，而且这种做法很有效，能明显促进应用的效果。那预训练在自然语言处理中优势怎样发展起来的呢？这里主要讲一下预训练这件事情在解决什么问题，用的是怎样的思路和方式，然后比较简单地介绍一下目前使用比较多的三个主流模型。
学术报告-算法-预训练在自然语言处理的发展-杨俊楠-v1.2-2019.10.123原创文章，作者：admin，如若转载，请注明出处：https://www.isclab.org.cn/2019/10/20/%e9%a2%84%e8%ae%ad%e7%bb%83%e5%9c%a8nlp%e7%9a%84%e5%8f%91%e5%b1%95/
深度模型可解释性一直是业界关注的问题。报告介绍了一种新颖的深度学习可解释性方法——树正则化。通过在深度模型训…
针对大语言模型展开调研，介绍大语言模型发展背景和研究现状，通过讲解LLaMA2模型的预训练和微调步骤，全面讲解大语言模型的训练过程，随后对越狱攻击大语言模型的方法进行研究，通过讲解…
本学术报告围绕大模型微调中的后门攻击问题展开。内容涵盖：后门攻击的基本原理与主流微调方法；两种新型攻击技术的设计与危害分析；以及针对现有防御体系的不足与盲区，展望后门攻击的未来演进…
本次报告围绕加密代理流量展开，首先阐述了代理流量识别的基本概念、研究背景和研究意义，然后介绍了代理识别或检测的研究现状。接着详细介绍了ProxyKiller和EO-EPTC两种现有…
网络表示学习（Network Representation Learning），又名网络嵌入（Network Embedding）、图嵌入（Graph Embedding），旨在从…
本次学术报告面向基于深度学习的二进制软件漏洞挖掘，首先定义二进制缺陷检测子任务的基本概念和TIPO，其后介绍模糊测试、符号执行等动态缺陷检测方法，最终具体讲解了三种基于深度学习的二…
人工智能软件系统的安全逐渐受到人们的重视，深度学习软件库存在的缺陷可能威胁到框架之上的模型和系统，目前仍然缺少深度学习软件库测试的系统方法。面对深度学习安全领域，针对深度学习软件库…
二进制函数相似性分析在1-Day漏洞检测、代码克隆检测、恶意软件检测、软件剽窃检测和自动软件修复等多个应用领域中具有广泛的应用。本次学术报告主要讲解了二进制函数相似性分析任务的研究…
深度学习模型具有高度非线性和特征空间抽象等特性，内部决策逻辑难以解释，导致其实际应用严重受限。本次报告从深度神经网络可解释性的基本概念出发，对常见的解释方法进行简介，并介绍了一篇将…
本次报告主要讲解了主题排序算法，通过对pagerank算法以及topic sensitive pagerank算法的原理介绍，引出了…
