深度学习系统安全性测试及测试样本优先级排序

深度学习在近十年取得了长足发展。由于其在复杂领域表现出优异的性能,逐渐被集成到软件体系中形成深度学习系统。这一方面推动了深度学习的发展,另一方面也对深度学习的安全性提出了巨大挑战:由于模型过拟合、欠拟合,训练数据不平衡等问题,模型在面对极端样本时往往会做出不正确的预测行为。在对预测正确性至关重要的领域,错误的预测行为将会造成灾难性后果,如何测试深度学习系统也成为了当前系统测试中的一大难题。本报告重点讲述深度学习安全性测试的发展历史,并详细介绍其子领域—测试样本优先级排序的最新研究。

深度学习系统安全性测试及测试样本优先级排序-王若辉

原创文章,作者:bfs,如若转载,请注明出处:https://www.isclab.org.cn/2021/11/29/%e6%b7%b1%e5%ba%a6%e5%ad%a6%e4%b9%a0%e7%b3%bb%e7%bb%9f%e5%ae%89%e5%85%a8%e6%80%a7%e6%b5%8b%e8%af%95%e5%8f%8a%e6%b5%8b%e8%af%95%e6%a0%b7%e6%9c%ac%e4%bc%98%e5%85%88%e7%ba%a7%e6%8e%92%e5%ba%8f/

(2)
bfsbfs
上一篇 2021年11月23日 上午10:23
下一篇 2021年12月7日 下午2:47

相关推荐

  • 半监督学习研究综述

    半监督学习(Semi-Supervised Learning,SSL)是模式识别和机器学习领域研究的重点问题,是监督学习与无监督学习相结合的一种学习方法。本次报告首先讲述了半监督学…

    2020年3月3日
    4.2K
  • 机器学习模型后门攻击检测

    本次学术报告简要介绍了人工智能系统面临的各种安全威胁,通过将对抗样本与后门攻击进行多方面比较,从而引入了机器学习模型后门攻击的原理和检测方法,以及后门攻击技术的应用领域。

    2021年8月22日
    4.1K
  • 基于知识库的命名实体识别

          基于统计的命名实体识别方法根据特征的获取方式,有神经网络和特征工程两个研究方向,实践表明来自知识库的词典特征…

    2019年7月18日
    3.7K
  • 常用距离计算方法

      韩磊 2014/12/25

    2014年12月19日
    3.9K
  • Android Hook 技术分析

      Hook技术就是在事件传送到终点前截获并监控事件的传输,像个钩子钩上事件一样,并且能够在钩上事件时,处理一些自己特定的事件。  附件-Android Hook 技术分析.pdf

    学术报告 2017年11月11日
    3.4K
  • 大模型驱动的软件漏洞PoC自动生成方法

    本报告围绕大模型驱动的软件漏洞PoC自动生成展开,介绍漏洞触发、污点分析与动态验证等基础,并重点解析PoCGen与PoCEvolve两种方法。报告强调结合LLM、程序分析和执行反馈…

    2026年9月1日
    333
  • 面向攻击溯源的日志处理技术

    日志生成的系统溯源图能够记录实体的依赖关系,通过溯源图的后向跟踪和前向跟踪,可实现攻击的溯源。但是随着溯源深度的增加,上下游实体之间的依赖关系呈现指数级爆炸,无法有效溯源。本次学术…

    2022年8月23日
    3.9K
  • 大语言模型调研

    针对大语言模型展开调研,介绍大语言模型发展背景和研究现状,通过讲解LLaMA2模型的预训练和微调步骤,全面讲解大语言模型的训练过程,随后对越狱攻击大语言模型的方法进行研究,通过讲解…

    2024年1月3日
    3.5K
  • Web应用漏洞挖掘技术研究

    该报告系统探讨了基于黑盒扫描的Web应用漏洞挖掘技术。报告重点分析了两项前沿工作:YuraScanner利用大语言模型(LLM)理解网站功能并自主执行任务流,以探索传统扫描器难以触…

    2026年4月27日
    3.4K
  • 深度神经网络对抗样本防御方法

    近年来深度学习技术不断突破,极大促进了人工智能行业的发展,但人工智能模型本身易受到对抗攻击从而引起严重后果。对原始样本有针对性地加入微小扰动,该扰动不易被人眼所察觉,但会导致人工智…

    2021年1月4日
    3.8K