缓解多模态大语言模型的幻觉问题

该研究针对多模态大语言模型生成内容与输入信息不符的“幻觉”问题,提出两种缓解方法:OPERA在推理阶段通过惩罚过信任与回溯重分配机制减少幻觉;HACL在训练阶段引入幻觉文本作为困难负样本进行对比学习,提升表示对齐能力。两种方法均显著降低幻觉率,并保持模型性能,为构建更可靠的多模态AI系统提供关键技术路径。

缓解多模态大语言模型的幻觉问题-王旭

原创文章,作者:bfs,如若转载,请注明出处:https://www.isclab.org.cn/2025/12/01/%e7%bc%93%e8%a7%a3%e5%a4%9a%e6%a8%a1%e6%80%81%e5%a4%a7%e8%af%ad%e8%a8%80%e6%a8%a1%e5%9e%8b%e7%9a%84%e5%b9%bb%e8%a7%89%e9%97%ae%e9%a2%98/

(0)
bfsbfs
上一篇 2025年11月25日 下午12:00
下一篇 2025年12月1日 下午1:06

相关推荐

  • Cache侧信道攻击与防御

    本报告讲述了cache侧信道攻击与防御基本分类及理论基础,给出了基于冲突和基于访问两类侧信道攻击和反制措施的基本概念,并对介绍基于映射随机化和基于隔离两类防御方法的文献进行了详细介…

    2021年11月23日
    4.7K
  • 虚拟化安全监控技术小结

    Virtualization-based Monitoring Virtualization-based Monitoring 是指利用虚拟化技术对上层虚拟机进行监控或者保护。通常…

    2014年11月14日
    3.9K
  • 跨域开发与安全

    在大型项目开发时,可能会遇到多域名或多个ip之间使用ajax异步请求进行通信的情况,默认情况下,浏览器会阻断ajax对跨域请求的读取。本此报告介绍了开发中的跨域方案和跨域方案可能产…

    2020年9月14日
    3.8K
  • 文本分类硬标签黑盒模型的对抗样本生成方法研究

    研究文本分类硬标签黑盒模型的对抗样本生成方法,分析模型的潜在安全风险,为加强模型鲁棒性提供方向。本次学习报告讲解了文本分类模型对抗样本生成方法的总体状况,并介绍了关于文本分类硬标签…

    2024年11月27日
    3.2K
  • 面向深度学习组件的漏洞挖掘

    人工智能软件系统的安全逐渐受到人们的重视,深度学习软件库存在的缺陷可能威胁到框架之上的模型和系统,目前仍然缺少深度学习软件库测试的系统方法。面对深度学习安全领域,针对深度学习软件库…

    2021年12月12日
    3.6K
  • 异质图神经网络

    异构图(HG)也称为异构信息网络,在现实世界中已变得无处不在;因此,HG嵌入(HG embedding)近年来受到了广泛关注,它旨在学习低维空间中的表示,同时保留下游任务的异构结构…

    2022年9月26日
    3.6K
  • 假设检验(hypothesis testing)

      假设检验是数理统计学中根据一定假设条件由样本推断总体的一种方法,其基本思想是应用小概率原理。在假设检验中常见的P值是进行检验决策的依据之一,反映某一事件发生的可能性大小。比较常…

    学术报告 2017年10月13日
    3.4K
  • web项目开发方法

    本次报告介绍了web项目开发方法,展示了在web开发过程中前后端分离与前后端不分离两种开发模式的基本流程以及优缺点,然后大致介绍了前端与后端各自常用的web框架,最后具体介绍了对外…

    2022年12月19日
    3.3K
  • 基于协同过滤的推荐算法

          推荐系统在现在的生活中随处可见,淘宝天猫的商品推荐,音乐软件的每日歌曲推荐等,协同过滤就是一种很受欢迎的推荐…

    2018年8月27日
    3.3K
  • Deep Learning词向量生成–CBOW和Skip-gram

      Deep Learning词向量生成的方法通过神经网络模型让机器自动学习到每个词有效的特征表示,而CBOW模型和Skip-gram模型是目前最流行、常用的Deep learni…

    学术报告 2017年10月13日
    3.4K