自从深度学习火起来后，预训练过程就是做图像或者视频领域的一种比较常规的做法，有比较长的历史了，而且这种做法很有效，能明显促进应用的效果。那预训练在自然语言处理中优势怎样发展起来的呢？这里主要讲一下预训练这件事情在解决什么问题，用的是怎样的思路和方式，然后比较简单地介绍一下目前使用比较多的三个主流模型。
学术报告-算法-预训练在自然语言处理的发展-杨俊楠-v1.2-2019.10.123原创文章，作者：admin，如若转载，请注明出处：https://www.isclab.org.cn/2019/10/20/%e9%a2%84%e8%ae%ad%e7%bb%83%e5%9c%a8nlp%e7%9a%84%e5%8f%91%e5%b1%95/
近年来，随着互联网技术的高速发展和数据规模的快速增长、大数据的应用，多标签分类应用场景越来越多，如电子商务中的商品分类、网页标签、新闻标注、蛋白质功能分类、音乐分类、语义场景分类等…
人工智能技术在决策系统等领域发挥了重要作用。用于模型训练的数据集中含有显示或者隐式的敏感属性，模型往往会利用敏感属性的特征做出决策，导致人工智能模型在公平性方面出现偏差，产生严重的…
二进制函数相似性分析在1-Day漏洞检测、代码克隆检测、恶意软件检测、软件剽窃检测和自动软件修复等多个应用领域中具有广泛的应用。本次学术报告主要讲解了二进制代码相似性检测技术的基本…
优化问题在日常生活中比较常见，而对于数据挖掘领域优化问题则更为常见，更为普遍。任何一种算法在设计之初必然预留了一组可调的参数，以期通过参数调节来得到算法的最佳效果。因为参数优化问题…
本次学术报告介绍了深度域适应方法的基本概念，以三种无监督域适应基本算法为例，简要梳理了域适应方法的发展脉络。通过分析半监督域适应方法论文，详细讲解了半监督域适应方法的基本原理。最后…
Ajax技术是创建交互式网页应用的网页开发技术，无需重新加载整个网页的情况下，能够更新部分网页的技术。Ajax 的特点在于异步交互，动态更新 web 页面，因此它的适用范围是交…
具有大量参数的深度神经网络是非常强大的机器学习系统。然而，在这样复杂的网络中，过拟合的问题难以解决。复杂的网络结构和缓慢的运行速度导致我们很难在测试时通过组合许多不同大型神经网络的…
随着人工智能等新兴技术在教育中广泛应用，推动了学习方式的深刻变革。面对多元化的学习需求及海量学习资源, 如何迅速完成学习目标、降低学习成本、个性化分配学习资源等问题成为限制个人和时…
深度学习模型具有强大的特征提取能力，在决策领域得到广泛应用，但往往产生不公平的预测结果，造成不良的社会影响，现有的公平性修复方法往往会导致准确率下降。本次学术报告介绍了一种新的深度…
本次学术报告介绍了集成学习和在线学习基本思想，对离线bagging（装袋）和离线boosting（提升）的基…
