智能体的工具调用攻击

本报告探讨了大语言模型智能体工具调用机制中的安全漏洞,重点分析了两种新型攻击方法。AMA攻击通过黑盒迭代优化恶意工具的元数据,使其在语义合法的前提下显著提升被智能体选择的概率,在多种开源和闭源模型上实现了极高的攻击成功率,同时保持任务完成率,且对传统防御手段有效。ToolCommander则通过注入恶意工具并利用真实用户查询进行闭环优化,实现隐私窃取、拒绝服务和非计划工具调用,验证了工具检索与执行流程的脆弱性,揭示了智能体系统的新攻击面

2026012613023775

原创文章,作者:bfs,如若转载,请注明出处:https://www.isclab.org.cn/2026/01/26/%e6%99%ba%e8%83%bd%e4%bd%93%e7%9a%84%e5%b7%a5%e5%85%b7%e8%b0%83%e7%94%a8%e6%94%bb%e5%87%bb/

(0)
bfsbfs
上一篇 2026年1月26日 下午9:10
下一篇 2026年2月3日 上午9:45

相关推荐

  • 无监督数据增强研究

          面对渴求大量数据的深度学习,数据扩增方法可以缓和一部分需求,但数据扩增方法往往只应用在有监督学习设定中,带来…

    2019年7月28日
    3.3K
  • 加密移动流量分析方法

    本次报告主要讲述了加密移动流量分析方法的相关内容,介绍了加密移动流量与普通流量的区别,流量分析的常用方法。解释了判断加密移动流量所属应用程序的分析方法,最后思考模糊流量对加密移动流…

    2022年4月24日
    4.5K
  • Cache侧信道攻击与防御

    本报告讲述了cache侧信道攻击与防御基本分类及理论基础,给出了基于冲突和基于访问两类侧信道攻击和反制措施的基本概念,并对介绍基于映射随机化和基于隔离两类防御方法的文献进行了详细介…

    2021年11月23日
    4.6K
  • 法律文本可解释性研究

    法律文本可解释性研究是将可解释性研究方法应用到法律文本领域,旨在构建智慧法庭,辅助法官判案,实现法律检索和类案匹配。本次学术报告从案件罪名预测和相似案例匹配两个应用角度进行讲解,对…

    2020年11月22日
    3.4K
  • 深度学习模型校准技术

    深度学习模型校准技术是模型预测可靠性的重要保障手段之一,其通过正则化或后处理方法调节模型对样本实例上的置信度,使其与预测的真实概率良好匹配。本次报告介绍了深度学习模型校准的基本概念…

    2024年7月2日
    3.5K
  • 大语言模型的越狱攻击

    主要探讨大语言模型的越狱攻击,阐述其研究背景、意义,历史与现状。而后涉及 EnDec和 ActorAttack 算法讲解,包含算法简介,以及算法的具体流程,通过实验对比展示其性能,…

    2024年12月19日
    3.6K
  • 多元时间序列异常检测方法研究

    异常检测是时间序列分析中必不可少的任务,判断数据是否符合正态数据分布,不符合的部分称为异常。及时发出异常可以使系统维护人员主动进行维护,从而在欺诈检测、入侵检测和能源管理等实际应用…

    2024年12月19日
    3.3K
  • FNN模型正确性测试及测试样本生成

    FNN模型被广泛应用于自动驾驶、医疗诊断等安全关键的领域,因此需要测试模型的正确性,及时发现模型的缺陷并进行模型的修复与再训练。本次学术报告介绍了FNN模型正确性测试中遇到的两个关…

    2024年1月26日
    3.2K
  • 基于深度学习的源代码漏洞挖掘

    安全漏洞的数量和复杂程度与日俱增,导致漏洞挖掘的成本也在不断升高。而近年对深度学习的研究使得机器具有分析学习能力,如何将深度学习算法应用漏洞挖掘技术成为研究热点。本次报告首先介绍了…

    2020年2月27日
    3.8K
  • 虚拟化平台操作系统内核级恶意攻击行为及其检测技术

          虚拟化技术的提出为操作系统内核安全的保护引入了新的思路和手段——虚拟机监视器( Virtual Machin…

    2019年5月20日
    3.2K