智能体的工具调用攻击

本报告探讨了大语言模型智能体工具调用机制中的安全漏洞,重点分析了两种新型攻击方法。AMA攻击通过黑盒迭代优化恶意工具的元数据,使其在语义合法的前提下显著提升被智能体选择的概率,在多种开源和闭源模型上实现了极高的攻击成功率,同时保持任务完成率,且对传统防御手段有效。ToolCommander则通过注入恶意工具并利用真实用户查询进行闭环优化,实现隐私窃取、拒绝服务和非计划工具调用,验证了工具检索与执行流程的脆弱性,揭示了智能体系统的新攻击面

2026012613023775

原创文章,作者:bfs,如若转载,请注明出处:https://www.isclab.org.cn/2026/01/26/%e6%99%ba%e8%83%bd%e4%bd%93%e7%9a%84%e5%b7%a5%e5%85%b7%e8%b0%83%e7%94%a8%e6%94%bb%e5%87%bb/

赞 (0)
bfsbfs
上一篇 2026年1月26日 下午9:10
下一篇 2026年2月3日 上午9:45

相关推荐

  • 基于知识库的命名实体识别

          基于统计的命名实体识别方法根据特征的获取方式,有神经网络和特征工程两个研究方向,实践表明来自知识库的词典特征…

    2019年7月18日
    3.9K
  • 命名实体识别简介

    2014年10月18日
    4.3K
  • 计算机启动流程详解2

          计算机从按下电源按钮到操作系统启动完成的过程其实相当复杂,大多数普通用户可能并不了解其中的过程和玄机。本次报…

    2018年6月10日
    3.8K
  • 基于深度学习的恶意流量检测方法

    近年来,基于机器学习的算法在恶意流量检测领域中越来越流行,但此类算法通常使用浅层模型,在训练之前需要一组专家手工制作的特征来预处理数据。此类方法的主要问题是,在不同类型的场景下,手…

    2020年12月27日
    6.4K
  • 提高对抗鲁棒性的特征降噪方法

    当深度学习以惊人的准确性执行各种各样任务的同时,在图像分类等领域的深度神经网络却容易受到对抗样本的攻击,从而输出错误的预测结果。本次学术报告首先说明了对抗攻防的主要方法分类和残差网…

    2021年4月19日
    3.8K
  • 即时缺陷预测技术研究

    本报告讲述了即时软件缺陷预测领域的基本概念,通过详细介绍集成了专家特征和语义特征的变更级软件缺陷预测和缺陷定位模型,启发思考通过结合专家特征和代码行上下文语义特征,提高变更级软件缺…

    2022年12月13日
    3.8K
  • 图匹配网络

    本次学术报告旨在带领听众完成图匹配网络相关知识入门。首先介绍了图匹配网络的基本概念;随后以GMN和MGMN为例讲解了图匹配网络的两种经典范式,详细阐述了图匹配网络的基本原理和应用场…

    2023年6月19日
    3.8K
  • 深度神经网络模型窃取检测

    本报告介绍了深度神经网络模型窃取检测的三种方法,从算法思想,实验结果,算法分析三个角度对已有算法进行贯穿式总结,阐述了模型窃取检测领域的难点,提升对模型安全领域问题的认识

    2023年3月6日
    3.7K
  • 大模型指导的内核模糊测试

    本报告阐述了大模型在内核模糊测试中的应用,介绍了 KernelGPT 和 ECG 两种技术。KernelGPT 自动推断系统调用规范,显著提升漏洞发现效率;ECG 结合静态分析与大…

    2025年6月23日
    3.9K
  • 源代码漏洞检测

    本次学术报告对实验室以往在源代码漏洞检测方向的积累做一个总结,展望未来的发展方向,从技术和应用两个视角审查当前源代码漏洞检测面临的问题。进一步从泛化性、细粒度漏洞检测两个方面进行论…

    2023年5月15日
    3.9K