为了从网络上海量文本信息提取有价值信息，需要使用计算机处理文本数据，首要任务是将文本转换为计算机可以处理的向量化数据。单词是文本的最小单位，所以需要使用语言模型得到词向量表示成为文本语义分析的首要任务。但是传统的语言模型存在受专家规则限制或者存在零概率现象，为了构造更加智能的语言模型将深度学习应用于词向量预训练模型的构建中。本次学术报告围绕基于transformer模型结构的GPT3预训练语言模型进行讲解，梳理GPT1到GPT3的模型结构变化，了解GPT3的优缺点以及GPT3在NLP领域的应用。
预训练语言模型GPT3-高依萌原创文章，作者：bfs，如若转载，请注明出处：https://www.isclab.org.cn/2021/02/19/%e9%a2%84%e8%ae%ad%e7%bb%83%e8%af%ad%e8%a8%80%e6%a8%a1%e5%9e%8bgpt3/
LDA主题模型可以将文档集中每篇文档的主题按照概率分布的形式给出。同时它是一种无监督学习算法，在训练时不需要…
研究深度半监督聚类方法，首先利用自编码器对高维数据降维处理，同时提取构建三种范围的约束信息：主动构建的成对约束、带标签的种子约束、簇间大小比例约束；最后融合三种约束信息指导编码器训…
目前针对二进制漏洞挖掘主要有三个研究方向：符号执行、污点分析和模糊测试。本次报告首先介绍了污点分析的三个重要…
图神经网络模型的可解释性对于建立用户与决策模型之间的信任关系至关重要，为了安全、可信地部署图神经网络模型，需要提高图神经网络模型的可解释性和透明性。本次报告为大家介绍图神经网络反事…
本次报告介绍了机器学习模型训练过程中的显存优化方法。首先介绍了深度学习框架的显存利用机制，随后结合原理和具体实例讲解了“代码级”和“框架级”显存优化方法，引导大家在实际科研过程中更…
可解释性对于建立用户与决策模型之间的信任关系至关重要，提高机器学习模型的可解释性和透明性是机器学习在现实任务中进一步发展和应用的关键。本次报告带大家了解机器学习常用的可解释方法的基…
模型窃取防御技术能够促进深度神经网络的健康发展，推动数据交流与共享。本次报告从大范围的模型窃取防御领域，聚焦到一类算法，从数学公式上对算法进行详细的分析，并对实验结果进行详细解读，…
1 基本概念 维基百科对动态规划（Dynamic programming，DP）的定义：它是一种在数学、计算机科学和经济学中使用的，通过把原问题分解为相对简单的子问题的方式求解复杂…
随着互联网技术的高速发展和数据规模的快速增长，层次多标签分类应用场景越来越多，如文献组织、新闻标注、蛋白质功能分类等。层次多标签文本分类是多标签分类下的子任务，标记每个给定文本与最…
智慧教育系统的不断发展促进了在线学习的用户数量爆炸式增长，对于学生认知水平诊断要求不断提高，群体认知诊断技术能够帮助平台挖掘学习群体的共性需求，增进教学效果。本次学术报告介绍了群体…
