为了从网络上海量文本信息提取有价值信息，需要使用计算机处理文本数据，首要任务是将文本转换为计算机可以处理的向量化数据。单词是文本的最小单位，所以需要使用语言模型得到词向量表示成为文本语义分析的首要任务。但是传统的语言模型存在受专家规则限制或者存在零概率现象，为了构造更加智能的语言模型将深度学习应用于词向量预训练模型的构建中。本次学术报告围绕基于transformer模型结构的GPT3预训练语言模型进行讲解，梳理GPT1到GPT3的模型结构变化，了解GPT3的优缺点以及GPT3在NLP领域的应用。
预训练语言模型GPT3-高依萌原创文章，作者：bfs，如若转载，请注明出处：https://www.isclab.org.cn/2021/02/19/%e9%a2%84%e8%ae%ad%e7%bb%83%e8%af%ad%e8%a8%80%e6%a8%a1%e5%9e%8bgpt3/
自步学习（Self-paced Learning）是一种先学习简单样本，后学习复杂样本的迭代算法。它具有很好的健壮性，主要被应用于图…
多智能体系统安全是当前人工智能研究中的重要方向，与系统稳定性、信息可信性及防御能力密切相关，但现有研究多集中于单智能体输入输出过滤或局部安全策略，难以刻画复杂交互网络中的全局风险传…
随着智慧教育系统（Intelligent Tutoring System, ITS）的快速发展，ITS以其时空约束少、便捷程度高和个性化定制学习的优势，在现代教育事业中获得广泛关注…
爬虫技术是获取数据的利器，它避免了繁琐又低效的人工数据搜集。爬虫带来获取数据极大便利的同时，也催生了反爬技术的发展。学术报告以反爬措施以及对抗反爬的手段作为议题，详细介绍了5类反爬…
同源函数是由相同源码编译得到的程序函数。同源漏洞判别是漏洞挖掘的主要方法之一，用于发现已知漏洞的同源漏洞。本次报告主要汇报基于汇编指令嵌入的同源漏洞判别方法，介绍了汇编指令嵌入的基…
背景知识 序列标注模型被广泛应用于文本处理相关领域，例如分词、词性标注、命名实体识别等方面。现有的序列标注模型主要有HMM，MEMM 以及 CRF，通过对这几种自然语言处理中常用的…
网络嵌入（Network Embedding）是针对网络中节点进行特征学习的一项新兴的研究任务，它旨在将网络中的节点表示成低维、实值、稠密的向量形式，使得得到的向量形式可以在向量空…
本报告介绍了模糊测试中的基本概念及网络应用程序漏洞挖掘发展历史和类型划分等背景知识，对2种基于覆盖引导的灰盒web模糊测试算法进行了具体说明，阐述了网络应用程序漏洞挖掘的发展趋势和…
认知扭曲是认知行为治疗中的核心概念，与抑郁、焦虑等心理障碍的形成和维持密切相关，但现有很多研究主要关注情绪倾向或表层语义，难以刻画个体更深层的思维偏差与认知模式，同时认知扭曲往往存…
在说明计算机如何进行特定音频识别这个问题之前，我们有必要对两个我们经常接触到的概念加以区分——“检索”和“识别”。 刚刚接触音频信号处理的朋友们常常会混淆这两个概念，本人刚…
