为了从网络上海量文本信息提取有价值信息，需要使用计算机处理文本数据，首要任务是将文本转换为计算机可以处理的向量化数据。单词是文本的最小单位，所以需要使用语言模型得到词向量表示成为文本语义分析的首要任务。但是传统的语言模型存在受专家规则限制或者存在零概率现象，为了构造更加智能的语言模型将深度学习应用于词向量预训练模型的构建中。本次学术报告围绕基于transformer模型结构的GPT3预训练语言模型进行讲解，梳理GPT1到GPT3的模型结构变化，了解GPT3的优缺点以及GPT3在NLP领域的应用。
预训练语言模型GPT3-高依萌原创文章，作者：bfs，如若转载，请注明出处：https://www.isclab.org.cn/2021/02/19/%e9%a2%84%e8%ae%ad%e7%bb%83%e8%af%ad%e8%a8%80%e6%a8%a1%e5%9e%8bgpt3/
一、 什么是频繁项集项集是指事项的集合，而频繁项集就是频繁出现在数据集中的项集，说白了就在数据集中“出现次数足够多”的项集。其中，项集的出现频度是指包含项集的事务的数量，简称为项集…
强化学习（Reinforcement learning ，RL ）是机器学习领域之一，研究如何通过一系列的顺序决策来达成一个特定目标。本次报告从强化学习的基本框架开始，介绍了强化学…
TCP协议是面向连接的可靠数据传输协议，如何在不可靠协议IP协议的上层实现可靠数据传输，主要通过差错检验、分…
主要探讨基于大语言模型的事件根因分析。阐述其研究背景、意义，涉及 RCACopilot 和 RCAgent 算法，包含数据收集、处理、输出，以及算法的具体流程等。通过实验对比展示其…
当前监督学习技术已经取得了巨大的成功，但是值得注意的是，由于数据标注过程的成本太高，很多任务很难获得如全部真值标签这样的强监督信息。而无监督学习由于学习过程太过困难，它的发展缓慢。…
1.环境感知型恶意软件使用的反检测方法及实例 2.部分高水平文献中的反检测算法原理 3.反检测技术的对抗策略
以深度学习为代表的人工智能技术正在悄然改变人们的生产生活方式，但深度学习模型的部署也带来了一定的安全隐患。对抗样本攻击能使深度学习模型系统进行误判，对各个人工智能应用领域造成了严重…
跨语言命名实体识别是用源语言的标记数据训练NER模型，并在目标语言的测试数据上对其进行评估。其利用具有丰富实体标签的高资源(源)语言(如英语)的知识来克服低(零)资源(目标)语言的…
随着社交媒体、论坛产生的用户生成数据不断增长，从大规模信息流中发现、分离和分析论点的需求凸显了论辩挖掘的重要性。本次报告旨在了解此领域经典的系统处理流程，掌握观点对识别和抽取任务定…
本学术报告围绕大模型微调中的后门攻击问题展开。内容涵盖：后门攻击的基本原理与主流微调方法；两种新型攻击技术的设计与危害分析；以及针对现有防御体系的不足与盲区，展望后门攻击的未来演进…
