无监督数据增强研究

      面对渴求大量数据的深度学习,数据扩增方法可以缓和一部分需求,但数据扩增方法往往只应用在有监督学习设定中,带来的提升也较为有限。GoogleAI最新提出了一种在半监督学习设定中,把数据扩增方法运用在未标注数据上的新方法。他们的方法,无监督数据扩增 UDA,会鼓励模型面对未标注数据和扩增过的未标注数据时产生一致的预测。与此前使用高斯噪声和 dropout 噪声的方法不同,UDA 有一些小的调整,它借助目前最先进的数据扩增方法产生了难度更高、更真实的噪声。这些小调整让 UDA 在六种语言任务、三种视觉任务中都带来了显著的表现提升,即便使用到的有标注数据集非常小。

网络安全2组-学术报告PPT-无监督数据增强研究.pdf

原创文章,作者:admin,如若转载,请注明出处:https://www.isclab.org.cn/2019/07/28/%e5%ad%a6%e6%9c%af%e6%8a%a5%e5%91%8a-%e6%97%a0%e7%9b%91%e7%9d%a3%e6%95%b0%e6%8d%ae%e5%a2%9e%e5%bc%ba%e7%a0%94%e7%a9%b6/

(1)
adminadmin
上一篇 2019年7月18日 上午8:52
下一篇 2019年8月13日 上午9:36

相关推荐

  • 数据样本的质量评估方法

    本报告主要介绍数据样本的质量评估方法。随着数据规模的不断扩大,如何有效评估数据样本的贡献成为提升模型性能和效率的关键问题。报告分析了当前领域内的主要评估方法,讨论了不同评估标准对模…

    2025年2月24日
    2.9K
  • 微架构推测执行漏洞检测

    CPU的性能提升是几十年来相关研究的重要主题,但随之而来的安全问题也愈发引起重视。其中推测执行漏洞因其种类多、隐蔽性高等问题使相关对抗方法的研究面临众多挑战,因此,如何提升CPU对…

    2023年12月27日
    3.1K
  • 表格数据隐私保护

    本次报告对表格数据的隐私保护方法展开介绍,介绍了目前常用的表格数据隐私保护方法,重点讲解生成对抗网络的基本原理及其和表格数据隐私保护间关系,详细阐述了经典的利用生成对抗网络生成新表…

    2022年5月25日
    2.4K
  • 基于大模型微调的学术论文评审意见生成方法

    大语言模型为自动化评审提供了发展契机,但通用AI模型在进行初步筛查和生成评审报告时,普遍存在积极性偏差、知识幻觉以及评价缺乏深度的缺陷。本次学术报告结合DeepReviewer和R…

    2026年4月21日
    2.5K
  • 数据挖掘项目实战

          数据挖掘项目实战,主要以kaggle竞赛平台Titanic生存预测为例详细讲解数据挖掘项目的工作流程,具体包…

    学术报告 2018年5月2日
    2.6K
  • 多标签学习

    每天都有大量的数据生成,这导致人们越来越需要新的努力来应对大数据给多标签学习带来的巨大挑战。例如,极端多标签分类是一个活跃且快速发展的研究领域,它处理的分类任务具有极其大量的类别或…

    2021年8月22日
    2.9K
  • 关联规则分析相关算法介绍

          关联规则分析是以中基于规则的机器学习算法,也是一种用于知识发现的算法。可以在大数据中发现感兴趣的关系,目的是…

    2018年9月25日
    2.9K
  • 深度学习中的Normalization

    Batch Normalization(BN)自从提出之后,因为效果特别好,很快被作为深度学习的标准工具应用在了各种场合。BN大法虽然好,但是也存在一些局限和问题,诸如当Batch…

    2019年10月29日
    2.7K
  • 高斯混合模型及求解算法

          高斯混合模型(Gaussian mixture model,GMM)用于对样本的概率密度分布进行估计,而估计…

    2019年2月18日
    2.4K