智能体的工具调用攻击

本报告探讨了大语言模型智能体工具调用机制中的安全漏洞,重点分析了两种新型攻击方法。AMA攻击通过黑盒迭代优化恶意工具的元数据,使其在语义合法的前提下显著提升被智能体选择的概率,在多种开源和闭源模型上实现了极高的攻击成功率,同时保持任务完成率,且对传统防御手段有效。ToolCommander则通过注入恶意工具并利用真实用户查询进行闭环优化,实现隐私窃取、拒绝服务和非计划工具调用,验证了工具检索与执行流程的脆弱性,揭示了智能体系统的新攻击面

2026012613023775

原创文章,作者:bfs,如若转载,请注明出处:https://www.isclab.org.cn/2026/01/26/%e6%99%ba%e8%83%bd%e4%bd%93%e7%9a%84%e5%b7%a5%e5%85%b7%e8%b0%83%e7%94%a8%e6%94%bb%e5%87%bb/

(0)
bfsbfs
上一篇 2026年1月26日 下午9:10
下一篇 2026年2月3日 上午9:45

相关推荐

  • 大模型也不安全-小心信息被泄露

    研究大模型隐私泄露攻击,揭示了大模型面临的隐私信息泄露风险。本次学术报告介绍了大模型的应用价值和市场体量,讲述了关于大模型隐私泄露攻击的最新方法,指明了现有的缺陷和未来发展方向。

    2025年8月27日
    2.4K
  • 大模型协同的软件模糊测试技术

    复杂软件的模糊测试在大模型快速发展的当下,已经有了多种自动化测试方案,但受制于大模型的生成模式而存在测试效率低、成本高的问题。本次学术报告结合ProphetFuzz和G2FUZZ两…

    2026年3月30日
    809
  • 多人协作开发Git使用介绍

    本报告介绍多人协作开发中Git的使用,通过讲述版本控制的概念和比对不同版本控制的区别,详细阐述Git底层工作原理及Git多人协作流程和核心用法,掌握Git相关基本知识及Git的核心…

    2023年2月6日
    2.0K
  • 基于图神经网络的中文短文本匹配方法

    本次报告介绍一种基于图神经网络的中文短文本匹配模型,采用图结构的多粒度输入解决中文文本分词错误、不一致、歧义等问题造成的匹配性能下降问题。同时,报告介绍了文本匹配的研究现状,帮助大…

    2020年6月27日
    2.9K
  • 卷积神经网络在图中的应用

          卷积神经网络可以有效提取空间特征,但是它研究的对象还是限制在具有规则空间结构的欧几里得数据。本次学术报告重点…

    2018年8月20日
    2.2K
  • Android MediaRecorder架构详解

    1. 简介 在android中录制音频有两种方式,MediaRecorder和AudioRecord。两者的区别如下: (1) MediaRecorder 简单方便,不需要理会中间…

    2014年12月7日
    3.1K
  • AI测试:历史与发展

    本报告重点讲解了AI测试的发展历史,从2007年Murphy等人认为AI系统是不可测试到后续变形测试、差分测试、覆盖测试、突变测试等传统测试方法的引入,再到正确性、鲁棒性、隐私性、…

    2022年8月23日
    2.1K
  • 代码摘要技术

    代码摘要(Code Summarization)是一项通过自动生成自然语言描述以解释目标代码的技术。其目标是帮助理解代码的功能和用途。通过本次学术报告对学习代码摘的学习,希望大家可…

    2024年9月23日
    1.8K
  • 代码变更表示学习及其应用研究

    代码变更指对软件源代码的增加,删除,修改。软件项目的代码库可以视为一系列代码变更的有序组合,因此代码变更对理解代码库和分析软件演化过程十分重要。代码变更表示学习旨在将代码变更表示为…

    2023年7月19日
    2.0K
  • 格式化字符串漏洞

          介绍了格式化字符串漏洞的常见形式,以及在Windows32和Linux64下的两种利用思路,可以扩展到其他漏…

    2018年7月15日
    2.1K