智能体的工具调用攻击

本报告探讨了大语言模型智能体工具调用机制中的安全漏洞,重点分析了两种新型攻击方法。AMA攻击通过黑盒迭代优化恶意工具的元数据,使其在语义合法的前提下显著提升被智能体选择的概率,在多种开源和闭源模型上实现了极高的攻击成功率,同时保持任务完成率,且对传统防御手段有效。ToolCommander则通过注入恶意工具并利用真实用户查询进行闭环优化,实现隐私窃取、拒绝服务和非计划工具调用,验证了工具检索与执行流程的脆弱性,揭示了智能体系统的新攻击面

2026012613023775

原创文章,作者:bfs,如若转载,请注明出处:https://www.isclab.org.cn/2026/01/26/%e6%99%ba%e8%83%bd%e4%bd%93%e7%9a%84%e5%b7%a5%e5%85%b7%e8%b0%83%e7%94%a8%e6%94%bb%e5%87%bb/

(0)
bfsbfs
上一篇 2026年1月26日 下午9:10
下一篇 2026年2月3日 上午9:45

相关推荐

  • Web前端框架对比

    前端开发是创建WEB页面或APP等前端界面呈现给用户的过程,通过HTML,CSS及JavaScript以及衍生出来的各种技术、框架、解决方案,来实现互联网产品的用户界面交互。本次学…

    2021年5月27日
    1.5K
  • XenAccess介绍

    1.Xen虚拟平台 Xen Hypervisor 位于操作系统与硬件之间,为其上层运行的操作系统内核提供虚拟化的硬件环境。Xen采用混合模式(Hybrid Model),因此在Xe…

    2014年10月21日
    1.6K
  • 胶囊(向量神经)网络

        胶囊(向量神经)网络是针对CNN的缺陷提出的一种新的方法,主要实现了两点改进:1.将CNN的输出结果由标量(scalar)替换成了向…

    学术报告 2018年2月26日
    1.4K
  • 跨语言命名实体识别

    跨语言命名实体识别是用源语言的标记数据训练NER模型,并在目标语言的测试数据上对其进行评估。其利用具有丰富实体标签的高资源(源)语言(如英语)的知识来克服低(零)资源(目标)语言的…

    2024年5月18日
    1.5K
  • 深度神经网络鲁棒性评估方法

    本报告介绍了深度神经网络鲁棒性评估方法的基本概念和评估方式,并讲述了两种评估方法,分别从定性分析和定量计算两个角度讲述了如何对鲁棒性进行评估,提升对深度神经网络鲁棒性和评估方法的认…

    2023年4月3日
    1.6K
  • 深度学习模型后门攻击检测

    本报告介绍了深度学习后门攻击基本概念及后门攻击检测发展历史和类型划分等背景知识,对2种基于模型演化策略的后门攻击检测算法进行了具体说明,阐述了深度学习后门攻击检测的发展趋势和未来前…

    2024年5月20日
    1.9K
  • XSS跨站脚本攻击

          XSS攻击是客户端脚本安全中的头号大敌,多次位列OWASP TOP 10榜首,严重威胁到web网络安全。XS…

    2018年6月25日
    1.3K
  • DNN模型水印及其鲁棒性评估

    模型水印技术是一种利用特定信息认证保护模型知识产权的方法。本次报告分析了深度学习领域现有的模型水印嵌入方法,从性能鲁棒性和稳定鲁棒性两方面讲述模型水印鲁棒性评估方法,并以实例分析和…

    2023年11月30日
    1.4K
  • 不规则多元时间序列预测研究

    时序数据预测任务是时间序列处理领域中一项基本的任务,根据历史时间段数据序列预测未来一段时间的数据序列,广泛应用于天气预报、经济预测、医疗保健预测等领域。在复杂的现实世界中,时序数据…

    2024年3月15日
    1.8K
  • 语义级代码克隆检测

    代码克隆(Code Clone),是指存在于代码库中两个及两个以上相同或者相似的源代码片段, 是软件开发中的常见现象。近年来,针对Ⅳ型克隆即语义级克隆的检测技术受到了广泛关注。主要…

    2022年10月11日
    1.7K