智能体的工具调用攻击

本报告探讨了大语言模型智能体工具调用机制中的安全漏洞,重点分析了两种新型攻击方法。AMA攻击通过黑盒迭代优化恶意工具的元数据,使其在语义合法的前提下显著提升被智能体选择的概率,在多种开源和闭源模型上实现了极高的攻击成功率,同时保持任务完成率,且对传统防御手段有效。ToolCommander则通过注入恶意工具并利用真实用户查询进行闭环优化,实现隐私窃取、拒绝服务和非计划工具调用,验证了工具检索与执行流程的脆弱性,揭示了智能体系统的新攻击面

2026012613023775

原创文章,作者:bfs,如若转载,请注明出处:https://www.isclab.org.cn/2026/01/26/%e6%99%ba%e8%83%bd%e4%bd%93%e7%9a%84%e5%b7%a5%e5%85%b7%e8%b0%83%e7%94%a8%e6%94%bb%e5%87%bb/

(0)
bfsbfs
上一篇 2026年1月26日 下午9:10
下一篇 2026年2月3日 上午9:45

相关推荐

  • 显式周期引导的长时序列预测

    该研究提出显式周期引导的长期时间序列预测方法,核心包括Periodformer和CycleNet两种模型。Periodformer通过周期注意力机制显式捕捉长期周期性模式,降低计算…

    2025年11月3日
    926
  • 操作系统结构与内核安全基础

      虽然每个电脑使用者都听说过操作系统,但是大部分人对于操作系统的结构,以及平时计算机安全领域常常提到的“操作系统内核”是十分陌生的。  本次学术报告为大家讲解了操作系统最基本的结…

    学术报告 2017年8月30日
    1.4K
  • Dropout随机失活

    具有大量参数的深度神经网络是非常强大的机器学习系统。然而,在这样复杂的网络中,过拟合的问题难以解决。复杂的网络结构和缓慢的运行速度导致我们很难在测试时通过组合许多不同大型神经网络的…

    2022年1月21日
    1.1K
  • Android应用安全检测

        Android应用在开发和发布初期可能存在各种原因导致的隐藏安全风险,这些安全风险如若不进行检测和修复,会给用户和开发者带来巨大的损…

    学术报告 2017年11月20日
    1.2K
  • 文本分类硬标签黑盒模型的对抗样本生成方法研究

    研究文本分类硬标签黑盒模型的对抗样本生成方法,分析模型的潜在安全风险,为加强模型鲁棒性提供方向。本次学习报告讲解了文本分类模型对抗样本生成方法的总体状况,并介绍了关于文本分类硬标签…

    2024年11月27日
    1.2K
  • 软件漏洞注入技术

    随着计算机技术的发展,漏洞威胁问题已然日渐严峻,高效、准确的漏洞检测技术对于漏洞的发现和防护都至关重要,但目前常用的检测算法面临漏洞数据集少、信息不准确、构建成本高等问题,所以一个…

    2023年9月27日
    1.3K
  • 基于图神经网络的中文短文本匹配方法

    本次报告介绍一种基于图神经网络的中文短文本匹配模型,采用图结构的多粒度输入解决中文文本分词错误、不一致、歧义等问题造成的匹配性能下降问题。同时,报告介绍了文本匹配的研究现状,帮助大…

    2020年6月27日
    2.3K
  • 生成扩散模型

    受热力学的启发,扩散模型目前产生了最先进的图像质量:2021年,扩散模型在图像生成方面的效果击败了GAN。除了尖端的生成质量,扩散模型还不需要对抗性训练;在训练效率方面还具有可扩展…

    2022年9月13日
    1.8K
  • 隐私保护的领域自适应迁移学习方法

    本报告讲述了隐私计算技术体系的整体架构及主要理论,给出了迁移学习及领域自适应问题的基本概念,通过详细介绍隐私保护政策下最新的去中心化无监督领域自适应论文以及基于隐私保护的模型联邦个…

    2021年10月11日
    1.5K
  • 预训练加密流量表征方法-巩锟

    本次报告从BERT框架入手,讲解基于预训练的加密流量表征方法。首先介绍加密流量分析的问题和挑战,在基本概念部分着重分析BERT输入表示、预训练过程中的MLM和NSP任务,然后以ET…

    2023年8月7日
    1.3K