智能体的工具调用攻击

本报告探讨了大语言模型智能体工具调用机制中的安全漏洞,重点分析了两种新型攻击方法。AMA攻击通过黑盒迭代优化恶意工具的元数据,使其在语义合法的前提下显著提升被智能体选择的概率,在多种开源和闭源模型上实现了极高的攻击成功率,同时保持任务完成率,且对传统防御手段有效。ToolCommander则通过注入恶意工具并利用真实用户查询进行闭环优化,实现隐私窃取、拒绝服务和非计划工具调用,验证了工具检索与执行流程的脆弱性,揭示了智能体系统的新攻击面

2026012613023775

原创文章,作者:bfs,如若转载,请注明出处:https://www.isclab.org.cn/2026/01/26/%e6%99%ba%e8%83%bd%e4%bd%93%e7%9a%84%e5%b7%a5%e5%85%b7%e8%b0%83%e7%94%a8%e6%94%bb%e5%87%bb/

(0)
bfsbfs
上一篇 2026年1月26日 下午9:10
下一篇 2021年11月29日 上午9:51

相关推荐

  • 频繁项集算法分析

    一、 什么是频繁项集项集是指事项的集合,而频繁项集就是频繁出现在数据集中的项集,说白了就在数据集中“出现次数足够多”的项集。其中,项集的出现频度是指包含项集的事务的数量,简称为项集…

    2015年6月18日
    1.9K
  • 鲁棒性认证方法

    随着对抗样本的危险性日益凸显,提高模型的鲁棒性成为研究的主要方向之一,然而,在评估鲁棒性方面还没有统一的标准,使得不同的防御方法之间对比存在很大的困难。

    2021年9月13日
    1.3K
  • 模型无关元学习

    元学习是人工智能领域继深度学习、深度强化学习、生成对抗之后,又一个重要的研究分支。模型无关元学(MAML)算法可以适用于多个领域,包括少样本的回归、图像分类,以及增强学习,并且使用…

    2020年3月9日
    1.2K
  • 代码异味检测

    本次学术报告对以往实验室软件系统/代码质量评估的研究方向做了一个总结并引出新的概念:代码异味检测。针对代码异味概念,生成原因和研究最新的方向进行了探讨。同时结合两篇论文,从多异味检…

    2023年6月5日
    956
  • 长短期记忆网络

      LSTM,全称为长短期记忆网络(Long Short-Term Memory networks),是一种深度神经网络,同时也是一种特殊的循环神经网络(RNN)。通过在RNN的网…

    学术报告 2017年9月20日
    967
  • 数据处理:飞一般的感觉

    本次报告介绍了Python中数据读取和处理的优化方法,对比了csv、pkl、feather、json等数据存储格式的读写速度与空间占用,分析了各数据格式的具体应用场景,同时引入混合…

    2022年12月26日
    619
  • 序列标注模型

    背景知识 序列标注模型被广泛应用于文本处理相关领域,例如分词、词性标注、命名实体识别等方面。现有的序列标注模型主要有HMM,MEMM 以及 CRF,通过对这几种自然语言处理中常用的…

    2015年2月2日
    1.1K
  • 对抗环境下的鲁棒机器学习

    对抗样本的存在表明现代神经网络是相当脆弱的。为解决这一问题,研究者相继提出了许多方法,其中使用对抗样本进行训练被认为是至今最有效的方法之一。 然而,经过对抗训练后神经网络对于正常样…

    2021年1月21日
    1.1K
  • 文本生成大模型后门攻击研究

    研究文本生成大模型的后门攻击,揭示了现有文本大模型的后门风险。本次学术报告详细介绍了现有文本生成模型的后门分类方法以及基准数据集,在文本大模型的多个下游任务实现了后门攻击,并总结了…

    2025年3月24日
    974
  • Android进程注入

    1. 基本知识 由于Android系统使用的是Linux内核,在Linux上使用的很多攻防技术都能被应用到Android上,进程注入技术就是其中一种。(以下有关进程注入的描述大多针…

    2015年1月5日
    1.1K