为了从网络上海量文本信息提取有价值信息，需要使用计算机处理文本数据，首要任务是将文本转换为计算机可以处理的向量化数据。单词是文本的最小单位，所以需要使用语言模型得到词向量表示成为文本语义分析的首要任务。但是传统的语言模型存在受专家规则限制或者存在零概率现象，为了构造更加智能的语言模型将深度学习应用于词向量预训练模型的构建中。本次学术报告围绕基于transformer模型结构的GPT3预训练语言模型进行讲解，梳理GPT1到GPT3的模型结构变化，了解GPT3的优缺点以及GPT3在NLP领域的应用。
预训练语言模型GPT3-高依萌原创文章，作者：bfs，如若转载，请注明出处：https://www.isclab.org.cn/2021/02/19/%e9%a2%84%e8%ae%ad%e7%bb%83%e8%af%ad%e8%a8%80%e6%a8%a1%e5%9e%8bgpt3/
后门防御旨在使用神经元剪枝、知识蒸馏等手段消除模型中隐藏的后门，阻止攻击者使用触发器样本控制深度学习模型的输出。本次学术报告主要讲解了两种以对抗性扰动和后门攻击关系为基础的后门防御…
物联网技术和人工智能的快速发展，含时间、空间特性的数据指数增长。如何进行多源异构时空数据本身特性出发，和机器学习深度学习技术深入融合，实现数据实现知识发现和信息挖掘，服务于城市发展…
魏超2014.11.2
联邦学习在保证数据安全和隐私的情况下解决了数据孤岛和数据碎片化问题，主要分为横向联邦学习、纵向联邦学习和联邦迁移学习。本次学术报告首先介绍联邦学习的历史现状、分类及应用场景，然后通…
本次报告从TCP/IP四层模型出发，讲解了分层模型的原理和意义，并系统地从底层到顶层分别讲解了数据链路层、传输层和网络层这三层的主要协议和这些协议的实现原理。通过此次学术报告可以清…
摘要：本报告介绍了web漏洞挖掘中的基本概念，实战通用方案及相关思路总结，进一步详细讲解了手工挖掘中存在的痛点问题，重点阐述了前沿自动化漏洞挖掘算法原理，分析其如何弥补手工挖掘的不…
LDA主题模型可以将文档集中每篇文档的主题按照概率分布的形式给出。同时它是一种无监督学习算法，在训练时不需要…
本次报告围绕环境注入攻击展开，首先阐述了环境注入攻击的基本概念、研究背景和研究意义，然后介绍了环境注入攻击的研究现状。接着详细介绍了EIA和eTAMP两种具备代表性的方法，包括各自…
模型水印技术是一种利用特定信息认证保护模型知识产权的方法。本次报告分析了深度学习领域现有的模型水印嵌入方法，从性能鲁棒性和稳定鲁棒性两方面讲述模型水印鲁棒性评估方法，并以实例分析和…
网络表示是衔接网络原始数据和网络应用任务的桥梁。网络表示学习算法负责从网络数据中学习得到网络中每个节点的向量…
