无监督数据增强研究

      面对渴求大量数据的深度学习,数据扩增方法可以缓和一部分需求,但数据扩增方法往往只应用在有监督学习设定中,带来的提升也较为有限。GoogleAI最新提出了一种在半监督学习设定中,把数据扩增方法运用在未标注数据上的新方法。他们的方法,无监督数据扩增 UDA,会鼓励模型面对未标注数据和扩增过的未标注数据时产生一致的预测。与此前使用高斯噪声和 dropout 噪声的方法不同,UDA 有一些小的调整,它借助目前最先进的数据扩增方法产生了难度更高、更真实的噪声。这些小调整让 UDA 在六种语言任务、三种视觉任务中都带来了显著的表现提升,即便使用到的有标注数据集非常小。

网络安全2组-学术报告PPT-无监督数据增强研究.pdf

原创文章,作者:admin,如若转载,请注明出处:https://www.isclab.org.cn/2019/07/28/%e5%ad%a6%e6%9c%af%e6%8a%a5%e5%91%8a-%e6%97%a0%e7%9b%91%e7%9d%a3%e6%95%b0%e6%8d%ae%e5%a2%9e%e5%bc%ba%e7%a0%94%e7%a9%b6/

(1)
adminadmin
上一篇 2019年7月18日 上午8:52
下一篇 2019年8月13日 上午9:36

相关推荐

  • 多标签学习

    每天都有大量的数据生成,这导致人们越来越需要新的努力来应对大数据给多标签学习带来的巨大挑战。例如,极端多标签分类是一个活跃且快速发展的研究领域,它处理的分类任务具有极其大量的类别或…

    2021年8月22日
    1.6K
  • 图半监督学习

          图半监督学习是半监督学习中的一种,基于聚类假设和流形假设,利用少量的有标记样本和大量的未标记样本,提高训练得…

    2018年9月3日
    1.2K
  • 基于迁移学习的日志异常检测方法

    本报告讲述了系统日志数据异常检测的基本框架,介绍了日志解析和迁移学习的基本概念和方法。通过分析日志数据特点和现有的基于深度学习的日志异常检测方法,详细讲解了两种基于迁移学习的日志异…

    2022年4月6日
    1.9K
  • 媒体安全

    走近特定音频识别(之一)——让计算机分辨出“这是什么声音” 走进特定音频识别(之二)——计算机是靠什么来分辨声音种类的? 走进特定音频识别(之三)——检索 Vs 识别 走近特定音频…

    学术报告 2014年10月18日
    1.1K
  • Floyd解决传递闭包

    传递闭包:在数学上的定义——在集合X上的二元关系R的传递闭包是包含R的X上的最小传递关系。其中定义域是数据集X,而运算关系是必须具有传递性,这里的最小传递关系指的是包含所有可达路径…

    2015年3月10日
    1.6K
  • 文本风格迁移

    风格迁移是将多种类型风格转换成另一风格,是自然语言处理领域的一个重要问题,表征着文本生成和风格控制技术的发展情况,在大数据时代下的隐私保护等方面起着重要作用。本文主要介绍了文本风格…

    2020年11月10日
    1.9K
  • 模型窃取防御:从被动溯源到主动防御

    本次学术报告探讨模型窃取防御方法,重点介绍两种前沿防御方案。ModelShield采用自适应鲁棒水印技术,通过查询响应分布自动注入水印,实现被动溯源与版权验证;QUEEN则基于查询…

    2025年12月8日
    1.1K
  • 多人协作开发Git使用介绍

    本报告介绍多人协作开发中Git的使用,通过讲述版本控制的概念和比对不同版本控制的区别,详细阐述Git底层工作原理及Git多人协作流程和核心用法,掌握Git相关基本知识及Git的核心…

    2023年2月6日
    1.3K
  • 神经网络模型的覆盖测试

    人工智能系统在近年来取得丰硕的成果,其中神经网络在自动驾驶领域等图像处理方向应用较为广泛。但是神经网络存在安全隐患,容易受到攻击导致决策错误,比如对抗样本攻击和后门攻击。如何测试神…

    2022年1月4日
    1.4K
  • 多人协作利器Git

    详细介绍Git的原理、初级和进阶用法

    2020年9月4日
    1.7K