智能体的工具调用攻击

本报告探讨了大语言模型智能体工具调用机制中的安全漏洞,重点分析了两种新型攻击方法。AMA攻击通过黑盒迭代优化恶意工具的元数据,使其在语义合法的前提下显著提升被智能体选择的概率,在多种开源和闭源模型上实现了极高的攻击成功率,同时保持任务完成率,且对传统防御手段有效。ToolCommander则通过注入恶意工具并利用真实用户查询进行闭环优化,实现隐私窃取、拒绝服务和非计划工具调用,验证了工具检索与执行流程的脆弱性,揭示了智能体系统的新攻击面

2026012613023775

原创文章,作者:bfs,如若转载,请注明出处:https://www.isclab.org.cn/2026/01/26/%e6%99%ba%e8%83%bd%e4%bd%93%e7%9a%84%e5%b7%a5%e5%85%b7%e8%b0%83%e7%94%a8%e6%94%bb%e5%87%bb/

(0)
bfsbfs
上一篇 2026年1月26日 下午9:10
下一篇 2026年2月3日 上午9:45

相关推荐

  • 模型水印攻击方法

    模型水印攻击旨在干扰、破坏或绕过嵌入在模型中的水印信息。本次报告从模型水印攻击的概念入手,分析其原理和应用场景,利用模型水印攻击方法对模型水印算法分析与评估,为模型水印算法的改进提…

    2024年8月19日
    2.8K
  • 基于大模型微调的后门攻击

    本学术报告围绕大模型微调中的后门攻击问题展开。内容涵盖:后门攻击的基本原理与主流微调方法;两种新型攻击技术的设计与危害分析;以及针对现有防御体系的不足与盲区,展望后门攻击的未来演进…

    2026年6月1日
    217
  • DNN模型水印及其鲁棒性评估

    模型水印技术是一种利用特定信息认证保护模型知识产权的方法。本次报告分析了深度学习领域现有的模型水印嵌入方法,从性能鲁棒性和稳定鲁棒性两方面讲述模型水印鲁棒性评估方法,并以实例分析和…

    2023年11月30日
    2.5K
  • Android APP共享库加固

        学术报告介绍了一种基于init节区的安卓共享库加固方式、一些防逆向工具和反调试的方法以及解释执行保护共享库的内容。 附件-Andro…

    学术报告 2017年12月11日
    2.4K
  • 动态网络嵌入

    许多真实世界的网络不是静态的而是处于不断进化的状态,随着网络的不断进化,一方面新节点需要被表示,另一方面,原始节点的嵌入表示就变得陈旧,需要被不断更新。本次学术报告首先介绍了动态网…

    2020年4月7日
    2.9K
  • 个性化学习路径推荐

    随着人工智能等新兴技术在教育中广泛应用,推动了学习方式的深刻变革。面对多元化的学习需求及海量学习资源, 如何迅速完成学习目标、降低学习成本、个性化分配学习资源等问题成为限制个人和时…

    2024年4月17日
    3.7K
  • 归一化流在表格数据生成中的应用

    归一化流(Normalizing Flows)是一类生成模型,它利用一系列可逆变换将简单分布映射为复杂数据分布,具有精确计算概率密度的能力。在表格数据生成领域,归一化流的应用对于理…

    2024年4月17日
    3.0K
  • 基于大模型微调的学术论文评审意见生成方法

    大语言模型为自动化评审提供了发展契机,但通用AI模型在进行初步筛查和生成评审报告时,普遍存在积极性偏差、知识幻觉以及评价缺乏深度的缺陷。本次学术报告结合DeepReviewer和R…

    2026年4月21日
    2.3K
  • 基于智能体的自动化漏洞重现方法

    本次报告分享的主题是基于智能体的自动化漏洞重现方法,报告通过梳理漏洞重现领域的基本发展历程和基本概念,然后讲解两种不同类型的智能体系统构建方法,分别针对通用应用程序漏洞PoV生成和…

    2026年3月16日
    2.4K