智能体的工具调用攻击

本报告探讨了大语言模型智能体工具调用机制中的安全漏洞,重点分析了两种新型攻击方法。AMA攻击通过黑盒迭代优化恶意工具的元数据,使其在语义合法的前提下显著提升被智能体选择的概率,在多种开源和闭源模型上实现了极高的攻击成功率,同时保持任务完成率,且对传统防御手段有效。ToolCommander则通过注入恶意工具并利用真实用户查询进行闭环优化,实现隐私窃取、拒绝服务和非计划工具调用,验证了工具检索与执行流程的脆弱性,揭示了智能体系统的新攻击面

2026012613023775

原创文章,作者:bfs,如若转载,请注明出处:https://www.isclab.org.cn/2026/01/26/%e6%99%ba%e8%83%bd%e4%bd%93%e7%9a%84%e5%b7%a5%e5%85%b7%e8%b0%83%e7%94%a8%e6%94%bb%e5%87%bb/

(0)
bfsbfs
上一篇 2026年1月26日 下午9:10
下一篇 2026年2月3日 上午9:45

相关推荐

  • 基于元学习的知识图谱补全技术

    知识图谱补全是知识图谱技术研究热点。以前的知识图谱补全方法需要大量的训练实例,而知识图谱中普便存在“长尾数据”现象,大多关系无法提供大量样本数据。本次学术报告通过将元学习方法思想引…

    2021年6月27日
    4.1K
  • 成员推理攻击和防御

    机器学习已经演化为了一种服务模式,即机器学习即服务模式。互联网公司或提供模型训练接口,或提供模型预测接口给用户以提供相应的服务。但是,在提供服务的整个过程中,机器学习模型不可避免的…

    2021年6月24日
    4.9K
  • 提高对抗鲁棒性的特征降噪方法

    当深度学习以惊人的准确性执行各种各样任务的同时,在图像分类等领域的深度神经网络却容易受到对抗样本的攻击,从而输出错误的预测结果。本次学术报告首先说明了对抗攻防的主要方法分类和残差网…

    2021年4月19日
    3.4K
  • 设计模式简介

          需求频繁变化是软件设计的基本特征,提升软件的可复用性、可维护性、可扩展性是软件设计的重要目标。以封装、继承和…

    2019年4月30日
    3.0K
  • 文本风格迁移

    风格迁移是将多种类型风格转换成另一风格,是自然语言处理领域的一个重要问题,表征着文本生成和风格控制技术的发展情况,在大数据时代下的隐私保护等方面起着重要作用。本文主要介绍了文本风格…

    2020年11月10日
    3.8K
  • 深度神经网络鲁棒性评估方法

    本报告介绍了深度神经网络鲁棒性评估方法的基本概念和评估方式,并讲述了两种评估方法,分别从定性分析和定量计算两个角度讲述了如何对鲁棒性进行评估,提升对深度神经网络鲁棒性和评估方法的认…

    2023年4月3日
    3.6K
  • Deep Learning词向量生成–CBOW和Skip-gram

      Deep Learning词向量生成的方法通过神经网络模型让机器自动学习到每个词有效的特征表示,而CBOW模型和Skip-gram模型是目前最流行、常用的Deep learni…

    学术报告 2017年10月13日
    3.3K
  • 属性缺失异质图神经网络

    本报告主要介绍属性缺失异质图神经网络,探讨了异质图研究领域的发展历程,详细介绍了属性缺失异质图的基本概念、常用处理方法以及两种前沿的属性补全异质图神经网络。

    2025年2月20日
    2.9K
  • 网络安全

    虚拟化技术:        初识虚拟化技术        XenAccess介绍        虚拟化安全监控技术小结  漏洞分析与利用:        缓冲区溢出漏洞浅析    …

    学术报告 2014年11月5日
    3.1K
  • 联邦学习的后门攻击方法

    联邦学习在保证数据安全和隐私的情况下解决了数据孤岛和数据碎片化问题,主要分为横向联邦学习、纵向联邦学习和联邦迁移学习。本次学术报告首先介绍联邦学习的历史现状、分类及应用场景,然后通…

    2022年8月30日
    3.7K