为了从网络上海量文本信息提取有价值信息，需要使用计算机处理文本数据，首要任务是将文本转换为计算机可以处理的向量化数据。单词是文本的最小单位，所以需要使用语言模型得到词向量表示成为文本语义分析的首要任务。但是传统的语言模型存在受专家规则限制或者存在零概率现象，为了构造更加智能的语言模型将深度学习应用于词向量预训练模型的构建中。本次学术报告围绕基于transformer模型结构的GPT3预训练语言模型进行讲解，梳理GPT1到GPT3的模型结构变化，了解GPT3的优缺点以及GPT3在NLP领域的应用。
预训练语言模型GPT3-高依萌原创文章，作者：bfs，如若转载，请注明出处：https://www.isclab.org.cn/2021/02/19/%e9%a2%84%e8%ae%ad%e7%bb%83%e8%af%ad%e8%a8%80%e6%a8%a1%e5%9e%8bgpt3/
随着计算机技术的发展，漏洞威胁问题已然日渐严峻，高效、准确的漏洞检测技术对于漏洞的发现和防护都至关重要，但目前常用的检测算法面临漏洞数据集少、信息不准确、构建成本高等问题，所以一个…
当深度学习以惊人的准确性执行各种各样任务的同时，在图像分类等领域的深度神经网络却容易受到对抗样本的攻击，从而输出错误的预测结果。本次学术报告首先说明了对抗攻防的主要方法分类和残差网…
基于因果推理的对抗防御方法通过因果干预、特征解耦与不变性学习，识别并强化数据中的因果特征，抑制模型对伪相关与“捷径特征”的依赖，从而在机理上增强模型的泛化能力和抗干扰能力，使其在遭…
针对神经网络模型的缺陷测试使用了神经元覆盖率指标指导测试，这是一种从软件测试领域迁移的概念，指的是测试激活的神经元越多，测试越充分。但是近年来这种测试方法的有效性存疑，特别是测试生…
研究深度半监督聚类方法，首先利用自编码器对高维数据降维处理，同时提取构建三种范围的约束信息：主动构建的成对约束、带标签的种子约束、簇间大小比例约束；最后融合三种约束信息指导编码器训…
本报告介绍多人协作开发中Git的使用，通过讲述版本控制的概念和比对不同版本控制的区别，详细阐述Git底层工作原理及Git多人协作流程和核心用法，掌握Git相关基本知识及Git的核心…
数据不平衡问题是指一个类别的数据个数远远少于另一个类别的数据个数，通常这种问题被称为“数据不平衡”问题，在这…
异常检测是时间序列分析中必不可少的任务，判断数据是否符合正态数据分布，不符合的部分称为异常。及时发出异常可以使系统维护人员主动进行维护，从而在欺诈检测、入侵检测和能源管理等实际应用…
随着对抗样本的危险性日益凸显，提高模型的鲁棒性成为研究的主要方向之一，然而，在评估鲁棒性方面还没有统一的标准，使得不同的防御方法之间对比存在很大的困难。
异构图（HG）也称为异构信息网络，在现实世界中已变得无处不在；因此，HG嵌入（HG embedding）近年来受到了广泛关注，它旨在学习低维空间中的表示，同时保留下游任务的异构结构…
