缓解多模态大语言模型的幻觉问题

该研究针对多模态大语言模型生成内容与输入信息不符的“幻觉”问题,提出两种缓解方法:OPERA在推理阶段通过惩罚过信任与回溯重分配机制减少幻觉;HACL在训练阶段引入幻觉文本作为困难负样本进行对比学习,提升表示对齐能力。两种方法均显著降低幻觉率,并保持模型性能,为构建更可靠的多模态AI系统提供关键技术路径。

缓解多模态大语言模型的幻觉问题-王旭

原创文章,作者:bfs,如若转载,请注明出处:https://www.isclab.org.cn/2025/12/01/%e7%bc%93%e8%a7%a3%e5%a4%9a%e6%a8%a1%e6%80%81%e5%a4%a7%e8%af%ad%e8%a8%80%e6%a8%a1%e5%9e%8b%e7%9a%84%e5%b9%bb%e8%a7%89%e9%97%ae%e9%a2%98/

(0)
bfsbfs
上一篇 2025年11月25日 下午12:00
下一篇 2025年12月1日 下午1:06

相关推荐

  • 开放式信息抽取技术

    本报告介绍了开放式信息抽取(OIE)的基本概念,展示了Neural OIE的两大类方法原理,并分别讲述了基于Transformer的Nerual OIE技术和利用Meta-Lear…

    2023年5月4日
    3.2K
  • 内部威胁检测方法

    近年来,内部(insider)攻击,包括组织信息系统破坏、信息盗窃、电子欺诈等,具有很强的隐蔽性和破坏性,对个人、企业和国家安全构成了巨大的威胁。因此,我们应该更加关注内部威胁的研…

    2021年10月27日
    3.2K
  • Automated Machine Learning

          机器学习是件很复杂的事情,在机器学习向更多领域扩展的时候,遇到了机器学习专家这一资源的限制。自动机器学习(A…

    2019年3月4日
    3.0K
  • 利用图挖掘的内部威胁检测方法

    随着图神经网络的广泛应用,以及越来越多的组织和企业关注内部威胁,利用图挖掘的方法检测内部威胁受到越来越多研究者的重视。本次报告介绍了利用图挖掘内部威胁检测方法的整体架构,以及如何从…

    2022年6月14日
    3.4K
  • 法律文本可解释性研究

    法律文本可解释性研究是将可解释性研究方法应用到法律文本领域,旨在构建智慧法庭,辅助法官判案,实现法律检索和类案匹配。本次学术报告从案件罪名预测和相似案例匹配两个应用角度进行讲解,对…

    2020年11月22日
    3.3K
  • 基于网络一致性的对抗样本检测

    人工智能系统面临着多种安全威胁,其中对抗样本攻击被广泛应用于诸如计算机视觉、自然语言处理、音频处理以及恶意软件检测等多个领域。本文介绍了常见的对抗样本检测方法和原理。特别的,简单分…

    2020年12月20日
    3.4K
  • 多人协作利器Git

    详细介绍Git的原理、初级和进阶用法

    2020年9月4日
    3.7K
  • 成员推理攻击

    成员推理攻击(Membership Inference Attack)作为一种隐私攻击方法,其攻击对象是机器学习目标模型,攻击目标是推理一条或一批数据是否作为目标模型的训练集,以此…

    2022年10月16日
    6.2K
  • 代码摘要技术

    代码摘要(Code Summarization)是一项通过自动生成自然语言描述以解释目标代码的技术。其目标是帮助理解代码的功能和用途。通过本次学术报告对学习代码摘的学习,希望大家可…

    2024年9月23日
    2.9K
  • 结合溯源图的APT检测方法

    APT攻击事件频发,严重危害着各国政府部门、组织、公司的网络信息安全。溯源图追踪日志之间的因果关系,保留了系统的丰富执行历史信息,便于检测长期且隐蔽的APT攻击。本次汇报首先讲解了…

    2021年12月27日
    4.6K