智能体的工具调用攻击

本报告探讨了大语言模型智能体工具调用机制中的安全漏洞,重点分析了两种新型攻击方法。AMA攻击通过黑盒迭代优化恶意工具的元数据,使其在语义合法的前提下显著提升被智能体选择的概率,在多种开源和闭源模型上实现了极高的攻击成功率,同时保持任务完成率,且对传统防御手段有效。ToolCommander则通过注入恶意工具并利用真实用户查询进行闭环优化,实现隐私窃取、拒绝服务和非计划工具调用,验证了工具检索与执行流程的脆弱性,揭示了智能体系统的新攻击面

2026012613023775

原创文章,作者:bfs,如若转载,请注明出处:https://www.isclab.org.cn/2026/01/26/%e6%99%ba%e8%83%bd%e4%bd%93%e7%9a%84%e5%b7%a5%e5%85%b7%e8%b0%83%e7%94%a8%e6%94%bb%e5%87%bb/

(0)
bfsbfs
上一篇 2026年1月26日 下午9:10
下一篇 2026年2月3日 上午9:45

相关推荐

  • 预训练语言模型GPT3

    为了从网络上海量文本信息提取有价值信息,需要使用计算机处理文本数据,首要任务是将文本转换为计算机可以处理的向量化数据。单词是文本的最小单位,所以需要使用语言模型得到词向量表示成为文…

    2021年2月19日
    3.0K
  • 走近特定音频识别(之三)—— 检索 Vs 识别

    在说明计算机如何进行特定音频识别这个问题之前,我们有必要对两个我们经常接触到的概念加以区分——“检索”和“识别”。     刚刚接触音频信号处理的朋友们常常会混淆这两个概念,本人刚…

    学术报告 2014年10月25日
    2.3K
  • 认知扭曲识别研究

    认知扭曲是认知行为治疗中的核心概念,与抑郁、焦虑等心理障碍的形成和维持密切相关,但现有很多研究主要关注情绪倾向或表层语义,难以刻画个体更深层的思维偏差与认知模式,同时认知扭曲往往存…

    2026年4月8日
    1.7K
  • 长短期记忆网络

      LSTM,全称为长短期记忆网络(Long Short-Term Memory networks),是一种深度神经网络,同时也是一种特殊的循环神经网络(RNN)。通过在RNN的网…

    学术报告 2017年9月20日
    2.7K
  • 大语言模型调研

    针对大语言模型展开调研,介绍大语言模型发展背景和研究现状,通过讲解LLaMA2模型的预训练和微调步骤,全面讲解大语言模型的训练过程,随后对越狱攻击大语言模型的方法进行研究,通过讲解…

    2024年1月3日
    2.6K
  • 大模型赋能的模糊测试用例生成技术

    随着大模型技术的兴起和发展,软件漏洞模糊测试方法在新技术的赋能下,可以实现更好的代码覆盖率和漏洞发现数量。本次学术报告针对结合大模型实现模糊测试用例生成的方法,介绍了Fuzz4Al…

    2024年9月3日
    2.8K
  • Spectre攻击及检测

    2018年初,推测执行攻击Spectre的出现表明,一些软件尽管通过了如模糊测试、符号执行等技术的安全检测,但是在执行过程中,攻击者还是可以通过推测执行窃取重要信息。而且,推测执行…

    2022年8月12日
    3.3K
  • HinDroid: An Intelligent Android Malware Detection System Based on Structured Heterogeneous Information Network

          Android恶意软件泛滥,及时准确发现恶意软件有着重要的意义。本文介绍了一种基于异构信息网络的智能andr…

    2018年11月18日
    2.5K
  • 自步学习

        自步学习(Self-paced Learning)是一种先学习简单样本,后学习复杂样本的迭代算法。它具有很好的健壮性,主要被应用于图…

    学术报告 2018年1月2日
    2.7K
  • 深度学习模型校准技术

    深度学习模型校准技术是模型预测可靠性的重要保障手段之一,其通过正则化或后处理方法调节模型对样本实例上的置信度,使其与预测的真实概率良好匹配。本次报告介绍了深度学习模型校准的基本概念…

    2024年7月2日
    2.8K