缓解多模态大语言模型的幻觉问题

该研究针对多模态大语言模型生成内容与输入信息不符的“幻觉”问题,提出两种缓解方法:OPERA在推理阶段通过惩罚过信任与回溯重分配机制减少幻觉;HACL在训练阶段引入幻觉文本作为困难负样本进行对比学习,提升表示对齐能力。两种方法均显著降低幻觉率,并保持模型性能,为构建更可靠的多模态AI系统提供关键技术路径。

缓解多模态大语言模型的幻觉问题-王旭

原创文章,作者:bfs,如若转载,请注明出处:https://www.isclab.org.cn/2025/12/01/%e7%bc%93%e8%a7%a3%e5%a4%9a%e6%a8%a1%e6%80%81%e5%a4%a7%e8%af%ad%e8%a8%80%e6%a8%a1%e5%9e%8b%e7%9a%84%e5%b9%bb%e8%a7%89%e9%97%ae%e9%a2%98/

(0)
bfsbfs
上一篇 2025年11月25日 下午12:00
下一篇 2025年12月1日 下午1:06

相关推荐

  • 如何优雅地进行模型训练

    本次报告介绍了机器学习模型训练过程中的显存优化方法。首先介绍了深度学习框架的显存利用机制,随后结合原理和具体实例讲解了“代码级”和“框架级”显存优化方法,引导大家在实际科研过程中更…

    2022年5月5日
    2.5K
  • 基于深度学习的二进制软件漏洞挖掘

    CVE年度统计结果表明,2018年披露的漏洞数量超过16500,创历史新高。漏洞的数量和复杂程度与日俱增,导致传统二进制漏洞自动化挖掘技术的成本也在不断升高。为迎接这些挑战,研究人…

    2019年12月22日
    3.1K
  • 深度学习系统安全性测试及测试样本优先级排序

    深度学习在近十年取得了长足发展。由于其在复杂领域表现出优异的性能,逐渐被集成到软件体系中形成深度学习系统。这一方面推动了深度学习的发展,另一方面也对深度学习的安全性提出了巨大挑战:…

    2021年11月29日
    3.0K
  • 协同训练

        协同训练是一种多视角学习方法,当数据充分时,在具有这种特征的数据集的任何一个视图上均可以利用一定的机器学习算法训练出一个强分类器。但…

    学术报告 2018年1月7日
    2.2K
  • 贝叶斯网络

    贝叶斯网络又称信度网络,是Bayes方法的扩展,是目前不确定知识表达和推理领域最有效的理论模型之一。从1988年由Pearl提出后,已经成为近几年来研究的热点.。

    2020年6月21日
    2.6K
  • 网络表示学习-SDNE

          真实的网络结构是高度非线性和复杂的,现有的浅层模型的网络嵌入方法都无法很好地表示更高级的非线性的网络结构。因…

    2019年3月26日
    1.9K
  • 扩散模型的后门攻击研究

    文本-图像生成模型在当今生活中有广泛应用,最新研究表明,这类多模态的生成模型也面临着安全风险,例如对抗样本攻击、成员推理攻击和后门攻击等。本次学术报告介绍了文本-图像生成模型最新的…

    2025年9月16日
    2.3K
  • Padding–A CNN operation that cannot be ignored

    本次报告主要讲述了padding的种类及其影响,介绍了卷积网络的基本概念和性质、使用padding的主要原因等,详细讲解了特征偏移和信息侵蚀的概念、表现及解决方案,最后对paddi…

    2022年12月5日
    2.0K
  • 人工智能模型的公平性测试

    人工智能技术发展迅速,不仅在图像领域,在决策系统等领域也发挥了重要作用。用于模型训练的数据集中含有显示或者隐式的敏感属性(如性别、种族等),模型往往会利用敏感属性的特征做出决策,这…

    2024年9月29日
    2.3K
  • 基于神经网络的源代码表示方法

    简介:神经网络算法在自然语言和计算机视觉等领域取得了快速发展和成熟应用,且在程序分析领域也具有广泛应用,如代码克隆检测、程序分类、漏洞分析和代码搜索等任务。然而不同的程序源代码表示…

    2020年7月19日
    2.5K