自从深度学习火起来后，预训练过程就是做图像或者视频领域的一种比较常规的做法，有比较长的历史了，而且这种做法很有效，能明显促进应用的效果。那预训练在自然语言处理中优势怎样发展起来的呢？这里主要讲一下预训练这件事情在解决什么问题，用的是怎样的思路和方式，然后比较简单地介绍一下目前使用比较多的三个主流模型。
学术报告-算法-预训练在自然语言处理的发展-杨俊楠-v1.2-2019.10.123原创文章，作者：admin，如若转载，请注明出处：https://www.isclab.org.cn/2019/10/20/%e9%a2%84%e8%ae%ad%e7%bb%83%e5%9c%a8nlp%e7%9a%84%e5%8f%91%e5%b1%95/
本报告介绍了强化学习领域基本概念，详细介绍了Q-Learning算法和Deep Q Learning算法的原理，简要梳理了了两种算法的发展脉络，以经典案例windy grid-wo…
二进制文件复合类型恢复技术在程序理解、逆向分析和漏洞检测等领域具有关键价值，能够显著提升类型信息还原与代码语义解析的准确性与效率。该技术通过推断和重建结构体、数组等复杂数据类型，有…
本次报告主要讲述了padding的种类及其影响，介绍了卷积网络的基本概念和性质、使用padding的主要原因等，详细讲解了特征偏移和信息侵蚀的概念、表现及解决方案，最后对paddi…
后门防御旨在使用神经元剪枝、知识蒸馏等手段消除模型中隐藏的后门，阻止攻击者使用触发器样本控制深度学习模型的输出。本次学术报告主要讲解了两种以对抗性扰动和后门攻击关系为基础的后门防御…
可解释性对于建立用户与决策模型之间的信任关系至关重要，提高机器学习模型的可解释性和透明性是机器学习在现实任务中进一步发展和应用的关键。本次报告带大家了解机器学习常用的可解释方法的基…
本报告介绍了漏洞检测的基本方法以及基于漏洞代码的漏洞评估的概念和评估方法。针对一种漏洞检测方式和一种漏洞评估方式进行了深入讲解，并探讨了漏洞检测和评估领域的现状，提出了一些未来发展…
Cookie 是网站为辨别用户身份而储存在用户终端上的数据（通常经过加密），是绕开http无状态性的额外手段…
推荐系统在现在的生活中随处可见，淘宝天猫的商品推荐，音乐软件的每日歌曲推荐等，协同过滤就是一种很受欢迎的推荐…
吕英 2015.1.28
案件文本分析包含多个子任务，比如罪名、刑期、法条裁决、相似案例匹配、Q&A等。人工智能在法律中的应用，其目标是充分提升法治效能，将法律工作者从繁杂的工作中解放出来。本次学术…
