智能体的工具调用攻击

本报告探讨了大语言模型智能体工具调用机制中的安全漏洞,重点分析了两种新型攻击方法。AMA攻击通过黑盒迭代优化恶意工具的元数据,使其在语义合法的前提下显著提升被智能体选择的概率,在多种开源和闭源模型上实现了极高的攻击成功率,同时保持任务完成率,且对传统防御手段有效。ToolCommander则通过注入恶意工具并利用真实用户查询进行闭环优化,实现隐私窃取、拒绝服务和非计划工具调用,验证了工具检索与执行流程的脆弱性,揭示了智能体系统的新攻击面

2026012613023775

原创文章,作者:bfs,如若转载,请注明出处:https://www.isclab.org.cn/2026/01/26/%e6%99%ba%e8%83%bd%e4%bd%93%e7%9a%84%e5%b7%a5%e5%85%b7%e8%b0%83%e7%94%a8%e6%94%bb%e5%87%bb/

(0)
bfsbfs
上一篇 2026年1月26日 下午9:10
下一篇 2026年2月3日 上午9:45

相关推荐

  • 结合溯源图的APT检测方法

    APT攻击事件频发,严重危害着各国政府部门、组织、公司的网络信息安全。溯源图追踪日志之间的因果关系,保留了系统的丰富执行历史信息,便于检测长期且隐蔽的APT攻击。本次汇报首先讲解了…

    2021年12月27日
    4.1K
  • 强化学习中的信用分配

    本报告围绕强化学习中的“信用分配”难题,系统梳理了延迟/稀疏奖励场景下如何精准识别关键动作的研究脉络, 介绍LaRe与VinePPO两项新工作 ,分别利用大模型先验与无偏采样提升奖…

    2026年1月12日
    3.0K
  • 设计模式简介

          需求频繁变化是软件设计的基本特征,提升软件的可复用性、可维护性、可扩展性是软件设计的重要目标。以封装、继承和…

    2019年4月30日
    2.3K
  • 服务端模板注入漏洞

          服务端模板注入是攻击者通过与服务端模板的输入输出交互,在过滤不严格的情况下,构造恶意输入数据,从而达到获取关…

    2019年4月16日
    2.5K
  • 从图视角理解多智能体系统安全

    多智能体系统安全是当前人工智能研究中的重要方向,与系统稳定性、信息可信性及防御能力密切相关,但现有研究多集中于单智能体输入输出过滤或局部安全策略,难以刻画复杂交互网络中的全局风险传…

    2026年4月13日
    2.6K
  • 数据处理:飞一般的感觉

    本次报告介绍了Python中数据读取和处理的优化方法,对比了csv、pkl、feather、json等数据存储格式的读写速度与空间占用,分析了各数据格式的具体应用场景,同时引入混合…

    2022年12月26日
    2.4K
  • 语义级代码克隆检测

    代码克隆(Code Clone),是指存在于代码库中两个及两个以上相同或者相似的源代码片段, 是软件开发中的常见现象。近年来,针对Ⅳ型克隆即语义级克隆的检测技术受到了广泛关注。主要…

    2022年10月11日
    3.0K
  • 基于深度学习的二进制函数相似性分析:深入探究两大主流研究方向

    二进制函数相似性分析在1-Day漏洞检测、代码克隆检测、恶意软件检测、软件剽窃检测和自动软件修复等多个应用领域中具有广泛的应用。本次学术报告主要讲解了二进制函数相似性分析任务的研究…

    2024年2月27日
    2.7K
  • 认知诊断前沿探索

    认知诊断是研究学习者学习行为,分析挖掘基于这些行为的认知状态的方法。知识认知诊断的前沿方法旨在通过准确预测学习者的表现和深入分析其认知能力,推动个性化学习体验的优化。这一方法为教育…

    2024年5月18日
    2.3K
  • 高准确率的鲁棒加密恶意流量实时检测方法

    本报告讲述了加密恶意流量检测领域基本概念,通过详细介绍基于频域分析的实时鲁棒恶意流量检测和基于自适应聚类的网络边缘恶意流量分类方法,启发思考通过统计聚类分析来提升加密恶意流量检测算…

    2022年3月21日
    3.1K