为了从网络上海量文本信息提取有价值信息，需要使用计算机处理文本数据，首要任务是将文本转换为计算机可以处理的向量化数据。单词是文本的最小单位，所以需要使用语言模型得到词向量表示成为文本语义分析的首要任务。但是传统的语言模型存在受专家规则限制或者存在零概率现象，为了构造更加智能的语言模型将深度学习应用于词向量预训练模型的构建中。本次学术报告围绕基于transformer模型结构的GPT3预训练语言模型进行讲解，梳理GPT1到GPT3的模型结构变化，了解GPT3的优缺点以及GPT3在NLP领域的应用。
预训练语言模型GPT3-高依萌原创文章，作者：bfs，如若转载，请注明出处：https://www.isclab.org.cn/2021/02/19/%e9%a2%84%e8%ae%ad%e7%bb%83%e8%af%ad%e8%a8%80%e6%a8%a1%e5%9e%8bgpt3/
研究深度半监督聚类方法，首先利用自编码器对高维数据降维处理，同时提取构建三种范围的约束信息：主动构建的成对约束、带标签的种子约束、簇间大小比例约束；最后融合三种约束信息指导编码器训…
对抗样本会的存在严重威胁到机器学习模型的输出准确性。目前最常用的对抗样本生成方法是FGSM，其通过在沿着损失…
元学习是人工智能领域继深度学习、深度强化学习、生成对抗之后，又一个重要的研究分支。模型无关元学（MAML）算法可以适用于多个领域，包括少样本的回归、图像分类，以及增强学习，并且使用…
聚焦联邦学习与联邦图学习场景下的后门攻击检测与防御，概述分布式隐私保护训练中的隐蔽后门风险、Non-IID数据异构挑战与现有防御方法局限；重点介绍FedID基于曼哈顿距离、欧氏距离…
着大数据和人工智能技术的飞速发展，知识图谱已成为表示和存储结构化知识的重要工具，其中时序知识图谱则进一步强调了事件随时间演变的重要性。本次学术报告致力于讲解时序知识图谱推理方法，重…
可解释性对于建立用户与决策模型之间的信任关系至关重要，提高机器学习模型的可解释性和透明性是机器学习在现实任务中进一步发展和应用的关键。本次报告带大家了解机器学习常用的可解释方法的基…
生成式对抗网络（GAN, Generative Adversarial Networks ）是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。本次学术报告将回顾关…
本次报告介绍了程序链接过程的基本概念，以及静态链接和动态链接中文件的结构和链接过程。基本概念包括程序构建（Build）过程、链接的历史和链接的作用等。链接的主要工作就是处理各个模块…
本次报告围绕基于GNN的加密流量分类技术展开，首先阐述了基于GNN的加密流量分类的基本概念、研究背景和研究意义，然后介绍了传统加密流量识别方法的特点与优劣势，并介绍了利用GNN进行…
逆向思维应用在学习、工作中的方方面面，学术报告中介绍了逆向分析的概念及应用，通过微信的破解演示展示了软件逆向的过程。在最后针对软件发布后可能存在的被调试、被破解风险，介绍了几种软件…
