无监督数据增强研究

      面对渴求大量数据的深度学习,数据扩增方法可以缓和一部分需求,但数据扩增方法往往只应用在有监督学习设定中,带来的提升也较为有限。GoogleAI最新提出了一种在半监督学习设定中,把数据扩增方法运用在未标注数据上的新方法。他们的方法,无监督数据扩增 UDA,会鼓励模型面对未标注数据和扩增过的未标注数据时产生一致的预测。与此前使用高斯噪声和 dropout 噪声的方法不同,UDA 有一些小的调整,它借助目前最先进的数据扩增方法产生了难度更高、更真实的噪声。这些小调整让 UDA 在六种语言任务、三种视觉任务中都带来了显著的表现提升,即便使用到的有标注数据集非常小。

网络安全2组-学术报告PPT-无监督数据增强研究.pdf

原创文章,作者:admin,如若转载,请注明出处:https://www.isclab.org.cn/2019/07/28/%e5%ad%a6%e6%9c%af%e6%8a%a5%e5%91%8a-%e6%97%a0%e7%9b%91%e7%9d%a3%e6%95%b0%e6%8d%ae%e5%a2%9e%e5%bc%ba%e7%a0%94%e7%a9%b6/

(1)
adminadmin
上一篇 2019年7月18日 上午8:52
下一篇 2019年8月13日 上午9:36

相关推荐

  • Deep Learning Backdoor Attacks Detection

    The susceptibility of deep neural networks to backdoor or trojan attacks has been demonstr…

    2023年6月26日
    2.9K
  • 文本生成中的幻觉

    本次报告讲解了文本生成中的幻觉问题。首先从文本生成的基本原理出发引入到幻觉问题,着重介绍了幻觉的概念、产生原因以及解决方法。然后从添加外部信息和幻觉数据处理两个角度入手分别介绍了K…

    2023年8月20日
    3.2K
  • 深度神经网络模型水印保护方法

    摘要:本报告介绍了深度神经网络模型水印的基本概念和嵌入方式,并讲述了两种深度神经网络模型水印保护方法,从水印嵌入、提取和验证三个角度分析了保护模型的原理,提升对模型知识产权保护的认…

    2023年3月12日
    3.5K
  • EM算法的应用——GMM的参数估计

            EM(Expectation-maximization)算法是机器学习十大算法之一。…

    2014年12月11日
    5.3K
  • 网络表示学习GraphGAN

    网络表示学习(Network Representation Learning),又名网络嵌入(Network Embedding)、图嵌入(Graph Embedding),旨在从…

    2019年11月13日
    3.7K
  • 无监督关键词提取方法介绍

    关键词提取技术是通过计算机程序从文档中自动提取重要性和主题性的词或短语的自动化技术,该技术在图书馆学、情报学和自然语言处理等领域应用广泛。目前关键词提取技术主要分为无监督和有监督这…

    2020年3月16日
    4.3K
  • 基于视觉直觉的源代码表征

    源代码表征是软件工程中的一个重要研究领域,主要关注如何有效地将源代码转化为可以支持各种软件工程任务(如代码搜索、克隆检测、代码自动生成等)的数学模型或数据结构。这些表征通常需要捕获…

    2024年9月23日
    3.1K
  • 如何优雅地阅读和复用代码

    面对大型软件项目,如何准确、快速地找到目标代码的位置将会极大地加速我们的二次开发。本次报告以GUI程序为例介绍了软件源码查找、修改和使用的一般流程。对初学者的软件项目开发工作大有裨…

    2020年1月2日
    3.3K
  • 源代码漏洞分类

    漏洞分类是漏洞分析中的重要一环,为了及时评估并缓解漏洞问题,快速、准确的漏洞分类方法必不可少,但目前漏洞分类领域面临着由于不同类型的漏洞数量高度不平衡导致的漏洞类型预测精度不佳的问…

    2023年12月14日
    3.4K
  • 大模型指导的协议模糊测试

    本次报告围绕大模型指导的协议模糊测试技术展开,首先阐述了大模型指导的协议模糊测试的基本概念、研究背景和研究意义,然后介绍了传统协议模糊测试方法的特点与优劣势,并介绍了大模型指导的协…

    2025年5月19日
    3.3K