缓解多模态大语言模型的幻觉问题

该研究针对多模态大语言模型生成内容与输入信息不符的“幻觉”问题,提出两种缓解方法:OPERA在推理阶段通过惩罚过信任与回溯重分配机制减少幻觉;HACL在训练阶段引入幻觉文本作为困难负样本进行对比学习,提升表示对齐能力。两种方法均显著降低幻觉率,并保持模型性能,为构建更可靠的多模态AI系统提供关键技术路径。

缓解多模态大语言模型的幻觉问题-王旭

原创文章,作者:bfs,如若转载,请注明出处:https://www.isclab.org.cn/2025/12/01/%e7%bc%93%e8%a7%a3%e5%a4%9a%e6%a8%a1%e6%80%81%e5%a4%a7%e8%af%ad%e8%a8%80%e6%a8%a1%e5%9e%8b%e7%9a%84%e5%b9%bb%e8%a7%89%e9%97%ae%e9%a2%98/

(0)
bfsbfs
上一篇 2025年11月25日 下午12:00
下一篇 2025年12月1日 下午1:06

相关推荐

  • 第三方库检测技术研究

    第三方库检测技术是一个自动识别应用程序或二进制程序中,所包含的第三方库的技术。对二进制文件或APP进行分析,主要用于安全性评估、软件合规性检查以及漏洞管理。通过本次学术报告对第三方…

    2025年7月15日
    675
  • 大模型也不安全-小心信息被泄露

    研究大模型隐私泄露攻击,揭示了大模型面临的隐私信息泄露风险。本次学术报告介绍了大模型的应用价值和市场体量,讲述了关于大模型隐私泄露攻击的最新方法,指明了现有的缺陷和未来发展方向。

    2025年8月27日
    1.1K
  • Windows漏洞利用技术总结

    1.前言 本文通过阅读几位大牛的文章、演讲报告、exploit编写教程等技术文档不断总结修改而成,列举了当前Windows下常见漏洞利用缓解技术的基本原理及绕过方法,具体技术细节则…

    2014年11月12日
    2.0K
  • 基于GNN的加密流量方法

    本次报告围绕基于GNN的加密流量分类技术展开,首先阐述了基于GNN的加密流量分类的基本概念、研究背景和研究意义,然后介绍了传统加密流量识别方法的特点与优劣势,并介绍了利用GNN进行…

    2025年6月4日
    777
  • 对抗性扰动下的后门防御方法

    后门防御旨在使用神经元剪枝、知识蒸馏等手段消除模型中隐藏的后门,阻止攻击者使用触发器样本控制深度学习模型的输出。本次学术报告主要讲解了两种以对抗性扰动和后门攻击关系为基础的后门防御…

    2024年1月17日
    1.4K
  • 模型窃取

    机器学习,尤其是神经网络,已广泛部署在行业环境中,模型通常被部署为预测服务。但是,具有对模型的查询访问权的对手可以窃取该模型以获得与远程目标模型基本一致的替代模型,这就是模型窃取攻…

    2021年5月10日
    3.2K
  • 无监督数据增强研究

          面对渴求大量数据的深度学习,数据扩增方法可以缓和一部分需求,但数据扩增方法往往只应用在有监督学习设定中,带来…

    2019年7月28日
    1.2K
  • 联邦学习及其后门攻击方法初探

    本次报告对联邦学习及其后门攻击方法展开介绍,阐述了联邦学习的发展脉络和三大主要框架,介绍了联邦学习安全性问题及后门攻击分类方法,重点讲解经典的集中式/分布式联邦后门攻击方法,启发思…

    2022年5月16日
    1.4K
  • 网络安全态势感知

    随着网络技术的飞速发展,其安全问题日益突出。虽然已经采取了多种网络安全防护措施,但是单一的安全防护措施没有综合考虑各种防护措施之间的关联性,无法从宏观角度评估网络安全性。网络安全态…

    2020年4月21日
    1.4K
  • Android MediaRecorder架构详解

    1. 简介 在android中录制音频有两种方式,MediaRecorder和AudioRecord。两者的区别如下: (1) MediaRecorder 简单方便,不需要理会中间…

    2014年12月7日
    1.9K