智能体的工具调用攻击

本报告探讨了大语言模型智能体工具调用机制中的安全漏洞,重点分析了两种新型攻击方法。AMA攻击通过黑盒迭代优化恶意工具的元数据,使其在语义合法的前提下显著提升被智能体选择的概率,在多种开源和闭源模型上实现了极高的攻击成功率,同时保持任务完成率,且对传统防御手段有效。ToolCommander则通过注入恶意工具并利用真实用户查询进行闭环优化,实现隐私窃取、拒绝服务和非计划工具调用,验证了工具检索与执行流程的脆弱性,揭示了智能体系统的新攻击面

2026012613023775

原创文章,作者:bfs,如若转载,请注明出处:https://www.isclab.org.cn/2026/01/26/%e6%99%ba%e8%83%bd%e4%bd%93%e7%9a%84%e5%b7%a5%e5%85%b7%e8%b0%83%e7%94%a8%e6%94%bb%e5%87%bb/

(0)
bfsbfs
上一篇 2026年1月26日 下午9:10
下一篇 2026年2月3日 上午9:45

相关推荐

  • 超参数优化

    本次报告介绍了超参数的概念和对模型的影响,解释了超参数与模型参数的区别,详细讲解了网格搜索、随机搜索、贝叶斯优化三种优化方法,分析其使用场景及优缺点,最后列举了三种实用的开源调优工…

    2023年1月2日
    2.4K
  • 机器学习中的数据不平衡问题

          数据不平衡问题是指一个类别的数据个数远远少于另一个类别的数据个数,通常这种问题被称为“数据不平衡”问题,在这…

    2018年12月17日
    2.3K
  • 初识虚拟化技术

    1.虚拟化技术的意义 虚拟化技术已有40多年的历史,它起源于对分时(Time Sharing)系统的需求。   1.1.为什么要使用虚拟化技术 很容易理解,由于不同任务耗…

    2014年10月21日
    2.8K
  • 深度神经网络模型窃取检测

    本报告介绍了深度神经网络模型窃取检测的三种方法,从算法思想,实验结果,算法分析三个角度对已有算法进行贯穿式总结,阐述了模型窃取检测领域的难点,提升对模型安全领域问题的认识

    2023年3月6日
    2.5K
  • 图半监督学习

          图半监督学习是半监督学习中的一种,基于聚类假设和流形假设,利用少量的有标记样本和大量的未标记样本,提高训练得…

    2018年9月3日
    2.2K
  • 如何优雅地进行模型训练

    本次报告介绍了机器学习模型训练过程中的显存优化方法。首先介绍了深度学习框架的显存利用机制,随后结合原理和具体实例讲解了“代码级”和“框架级”显存优化方法,引导大家在实际科研过程中更…

    2022年5月5日
    2.8K
  • active self-paced learning

          在机器学习中获得标注数据是一个重要的部分。但是在一些专业领域,标注成本高,成本高,导致了获得标注数据困难。主…

    2019年2月24日
    2.1K
  • 提高对抗鲁棒性的特征降噪方法

    当深度学习以惊人的准确性执行各种各样任务的同时,在图像分类等领域的深度神经网络却容易受到对抗样本的攻击,从而输出错误的预测结果。本次学术报告首先说明了对抗攻防的主要方法分类和残差网…

    2021年4月19日
    2.6K
  • Weakness Identification of Binary Program Function of Pseudo-code by Incorporating Structure and Sequence Information with Attention-Residual Connections

    The research objectives are toidentify weaknesses in binary program functions and combine …

    2023年7月4日
    2.5K
  • 认知诊断技术及其研究

    认知诊断广泛适用于教育教学、临床测量等需要评估用户认知状态的场景。研究智能教育领域下的认知诊断有助于发现学生的认知缺陷,从而进行个性化精准干预。本次学术报告讲述了认知诊断的基本概念…

    2023年9月16日
    2.2K