智能体的工具调用攻击

本报告探讨了大语言模型智能体工具调用机制中的安全漏洞,重点分析了两种新型攻击方法。AMA攻击通过黑盒迭代优化恶意工具的元数据,使其在语义合法的前提下显著提升被智能体选择的概率,在多种开源和闭源模型上实现了极高的攻击成功率,同时保持任务完成率,且对传统防御手段有效。ToolCommander则通过注入恶意工具并利用真实用户查询进行闭环优化,实现隐私窃取、拒绝服务和非计划工具调用,验证了工具检索与执行流程的脆弱性,揭示了智能体系统的新攻击面

2026012613023775

原创文章,作者:bfs,如若转载,请注明出处:https://www.isclab.org.cn/2026/01/26/%e6%99%ba%e8%83%bd%e4%bd%93%e7%9a%84%e5%b7%a5%e5%85%b7%e8%b0%83%e7%94%a8%e6%94%bb%e5%87%bb/

赞 (0)
bfsbfs
上一篇 2026年1月26日 下午9:10
下一篇 2026年2月3日 上午9:45

相关推荐

  • 数据集不平衡评估方法

    本报告围绕“数据集不平衡程度评估”展开,聚焦于如何科学量化多类数据中的结构性不平衡问题,突破传统以样本比例为核心的评估局限。报告系统回顾了不平衡评估的发展脉络,分析了现有方法在面对…

    2025年7月28日
    3.7K
  • 面向攻击溯源的日志处理技术

    日志生成的系统溯源图能够记录实体的依赖关系,通过溯源图的后向跟踪和前向跟踪,可实现攻击的溯源。但是随着溯源深度的增加,上下游实体之间的依赖关系呈现指数级爆炸,无法有效溯源。本次学术…

    2022年8月23日
    4.0K
  • 基于LSTM-CRF的序列标注算法

        条件随机场(conditional random fields)是一种满足马尔可夫性质的条件概率图模型。它很好地解决了隐马尔可夫模型…

    学术报告 2018年1月29日
    4.3K
  • 主题排序算法

        本次报告主要讲解了主题排序算法,通过对pagerank算法以及topic sensitive pagerank算法的原理介绍,引出了…

    学术报告 2018年3月6日
    3.9K
  • 音频事件识别信道自适应方法研究

    吕英 2015.1.28

    2015年1月28日
    3.3K
  • 逆向分析与软件保护

    逆向思维应用在学习、工作中的方方面面,学术报告中介绍了逆向分析的概念及应用,通过微信的破解演示展示了软件逆向的过程。在最后针对软件发布后可能存在的被调试、被破解风险,介绍了几种软件…

    2020年5月5日
    4.5K
  • 差分隐私原理及应用

    大数据时代隐私泄露成为了一个严重的问题,大量的个人信息在网上传播。另一方面大数据时代对数据的可用性也有一定的要求。因此当前如何在保障用户的隐私的同时,提供一定的可用性成为一个关键问…

    2020年5月17日
    5.0K
  • 基于输入输出扰动的模型窃取防御方法

    模型窃取防御技术能够促进深度神经网络的健康发展,推动数据交流与共享。本次报告从输入输出扰动的角度分析了模型窃取防御方法的框架,从数学角度给出了防御的基本原理以及优缺点,利用防御方法…

    2024年7月21日
    3.4K
  • 自动化程序缺陷修复及其应用研究

    大型复杂软件系统的高频率开发迭代,导致潜在缺陷数量增加,影响工业控制、交通管理等关键领域正常运转。缺陷修复指生成软件缺陷的修复代码,降低人工成本。研究自动化缺陷修复,能够及时修复软…

    2024年8月18日
    3.3K
  • 基于网络一致性的对抗样本检测

    人工智能系统面临着多种安全威胁,其中对抗样本攻击被广泛应用于诸如计算机视觉、自然语言处理、音频处理以及恶意软件检测等多个领域。本文介绍了常见的对抗样本检测方法和原理。特别的,简单分…

    2020年12月20日
    3.9K