为了从网络上海量文本信息提取有价值信息，需要使用计算机处理文本数据，首要任务是将文本转换为计算机可以处理的向量化数据。单词是文本的最小单位，所以需要使用语言模型得到词向量表示成为文本语义分析的首要任务。但是传统的语言模型存在受专家规则限制或者存在零概率现象，为了构造更加智能的语言模型将深度学习应用于词向量预训练模型的构建中。本次学术报告围绕基于transformer模型结构的GPT3预训练语言模型进行讲解，梳理GPT1到GPT3的模型结构变化，了解GPT3的优缺点以及GPT3在NLP领域的应用。
预训练语言模型GPT3-高依萌原创文章，作者：bfs，如若转载，请注明出处：https://www.isclab.org.cn/2021/02/19/%e9%a2%84%e8%ae%ad%e7%bb%83%e8%af%ad%e8%a8%80%e6%a8%a1%e5%9e%8bgpt3/
二进制代码反编译技术在漏洞检测、恶意代码分析等逆向工程领域中具有重要应用，显著提升了全检安全分析的效率与深度。该技术有助于高效理解和重构二进制程序，支持其修复、维护与再开发。本次报…
1.环境感知型恶意软件使用的反检测方法及实例 2.部分高水平文献中的反检测算法原理 3.反检测技术的对抗策略
代码变更表示学习技术通常将代码变更进行结构化或序列化的中间表示，并将中间表示输入到表示学习模型以获取代码变更中更细粒度的特征，是众多软件工程任务的重要环节之一。本次报告介绍了2类任…
符号执行 （Symbolic Execution）是一种程序分析技术。其可以通过分析程序来得到让特…
本次报告介绍了模糊测试以及各种分类方法，并且讲解了目前流行的模糊测试工具AFL的原理，阐明了AFL工具是如何提高代码覆盖率的。针对AFL存在的测试用例生成盲目性的问题，介绍了一种基…
本报告介绍了强化学习领域基本概念，详细介绍了Q-Learning算法和Deep Q Learning算法的原理，简要梳理了了两种算法的发展脉络，以经典案例windy grid-wo…
跨语言词向量(corss-lingual word embeddings)是一种的对单语言环境下的模型进行多语言扩展的有效手段。通过…
随着网络技术的飞速发展，其安全问题日益突出。虽然已经采取了多种网络安全防护措施，但是单一的安全防护措施没有综合考虑各种防护措施之间的关联性，无法从宏观角度评估网络安全性。网络安全态…
随着机器学习的发展，机器学习已经广泛应用于入侵检测，但研究发现基于机器学习的检测技术存在安全隐患，极易遭受对抗样本的攻击，为了更好的评估入侵检测系统的鲁棒性，研究网络流量的对抗样本…
知识图谱补全是知识图谱技术研究热点。以前的知识图谱补全方法需要大量的训练实例，而知识图谱中普便存在“长尾数据”现象，大多关系无法提供大量样本数据。本次学术报告通过将元学习方法思想引…
