缓解多模态大语言模型的幻觉问题

该研究针对多模态大语言模型生成内容与输入信息不符的“幻觉”问题,提出两种缓解方法:OPERA在推理阶段通过惩罚过信任与回溯重分配机制减少幻觉;HACL在训练阶段引入幻觉文本作为困难负样本进行对比学习,提升表示对齐能力。两种方法均显著降低幻觉率,并保持模型性能,为构建更可靠的多模态AI系统提供关键技术路径。

缓解多模态大语言模型的幻觉问题-王旭

原创文章,作者:bfs,如若转载,请注明出处:https://www.isclab.org.cn/2025/12/01/%e7%bc%93%e8%a7%a3%e5%a4%9a%e6%a8%a1%e6%80%81%e5%a4%a7%e8%af%ad%e8%a8%80%e6%a8%a1%e5%9e%8b%e7%9a%84%e5%b9%bb%e8%a7%89%e9%97%ae%e9%a2%98/

(0)
bfsbfs
上一篇 2025年11月25日 下午12:00
下一篇 2025年12月1日 下午1:06

相关推荐

  • Spectre攻击及检测

    2018年初,推测执行攻击Spectre的出现表明,一些软件尽管通过了如模糊测试、符号执行等技术的安全检测,但是在执行过程中,攻击者还是可以通过推测执行窃取重要信息。而且,推测执行…

    2022年8月12日
    4.3K
  • 面向网络应用程序的模糊测试

    本报告介绍了模糊测试中的基本概念及网络应用程序漏洞挖掘发展历史和类型划分等背景知识,对2种基于覆盖引导的灰盒web模糊测试算法进行了具体说明,阐述了网络应用程序漏洞挖掘的发展趋势和…

    2024年5月31日
    3.0K
  • 基于协同过滤的推荐算法

          推荐系统在现在的生活中随处可见,淘宝天猫的商品推荐,音乐软件的每日歌曲推荐等,协同过滤就是一种很受欢迎的推荐…

    2018年8月27日
    3.3K
  • LDA主题模型浅析

          LDA主题模型可以将文档集中每篇文档的主题按照概率分布的形式给出。同时它是一种无监督学习算法,在训练时不需要…

    2018年7月3日
    3.3K
  • 面向深度学习组件的漏洞挖掘

    人工智能软件系统的安全逐渐受到人们的重视,深度学习软件库存在的缺陷可能威胁到框架之上的模型和系统,目前仍然缺少深度学习软件库测试的系统方法。面对深度学习安全领域,针对深度学习软件库…

    2021年12月12日
    3.6K
  • 基于度量学习的小样本学习方法介绍

    Few-shot learning (FSL)的含义是得到从少量样本中学习和概括的能力,它希望机器学习模型在学习了一定类别的大量数据后,对于新的类别,只需要少量的样本就能快速学习。…

    2020年11月2日
    4.6K
  • 基于图的课程推荐方法

    课程推荐在人机协同、个性化学习平台等智能教育系统中具有重要价值,显著提升了模型对用户兴趣动态变化的建模能力与推荐效果。本次报告将介绍课程推荐任务,分析其研究背景与应用意义,并重点讲…

    2025年4月22日
    3.3K
  • 面向恶意软件检测系统的对抗样本攻击

    当下投入使用的恶意软件检测系统日益增多,但同时还带来了大量的安全问题,如何有效地提高恶意软件检测系统的鲁棒性变成当下重要的课题。在这里,从攻击者的角度入手,面向恶意软件检测系统,着…

    2020年5月24日
    4.3K
  • 半监督学习研究综述

    半监督学习(Semi-Supervised Learning,SSL)是模式识别和机器学习领域研究的重点问题,是监督学习与无监督学习相结合的一种学习方法。本次报告首先讲述了半监督学…

    2020年3月3日
    4.1K
  • 基于大模型微调的后门攻击

    本学术报告围绕大模型微调中的后门攻击问题展开。内容涵盖:后门攻击的基本原理与主流微调方法;两种新型攻击技术的设计与危害分析;以及针对现有防御体系的不足与盲区,展望后门攻击的未来演进…

    2026年6月1日
    1.4K