该研究针对多模态大语言模型生成内容与输入信息不符的“幻觉”问题，提出两种缓解方法：OPERA在推理阶段通过惩罚过信任与回溯重分配机制减少幻觉；HACL在训练阶段引入幻觉文本作为困难负样本进行对比学习，提升表示对齐能力。两种方法均显著降低幻觉率，并保持模型性能，为构建更可靠的多模态AI系统提供关键技术路径。
缓解多模态大语言模型的幻觉问题-王旭原创文章，作者：bfs，如若转载，请注明出处：https://www.isclab.org.cn/2025/12/01/%e7%bc%93%e8%a7%a3%e5%a4%9a%e6%a8%a1%e6%80%81%e5%a4%a7%e8%af%ad%e8%a8%80%e6%a8%a1%e5%9e%8b%e7%9a%84%e5%b9%bb%e8%a7%89%e9%97%ae%e9%a2%98/
研究深度半监督聚类方法，首先利用自编码器对高维数据降维处理，同时提取构建三种范围的约束信息：主动构建的成对约束、带标签的种子约束、簇间大小比例约束；最后融合三种约束信息指导编码器训…
机器学习是件很复杂的事情，在机器学习向更多领域扩展的时候，遇到了机器学习专家这一资源的限制。自动机器学习（A…
跨语言命名实体识别是用源语言的标记数据训练NER模型，并在目标语言的测试数据上对其进行评估。其利用具有丰富实体标签的高资源(源)语言(如英语)的知识来克服低(零)资源(目标)语言的…
自DNN诞生起，人们就开始尝试对其解释。若要对DNN进行定量、严谨的解释，数学层面的理论构建是必要的。本次报告介绍了基于博弈论Shapley Value构建的DNN可解释性理论体系…
目前针对二进制漏洞挖掘主要有三个研究方向：符号执行、污点分析和模糊测试。本次报告首先介绍了污点分析的三个重要…
本次报告介绍了web项目开发方法，展示了在web开发过程中前后端分离与前后端不分离两种开发模式的基本流程以及优缺点，然后大致介绍了前端与后端各自常用的web框架，最后具体介绍了对外…
网络嵌入（Network Embedding）是针对网络中节点进行特征学习的一项新兴的研究任务，它旨在将网络中的节点表示成低维、实值、稠密的向量形式，使得得到的向量形式可以在向量空…
本次报告介绍了模糊测试以及各种分类方法，并且讲解了目前流行的模糊测试工具AFL的原理，阐明了AFL工具是如何提高代码覆盖率的。针对AFL存在的测试用例生成盲目性的问题，介绍了一种基…
本报告介绍了深度神经网络鲁棒性评估方法的基本概念和评估方式，并讲述了两种评估方法，分别从定性分析和定量计算两个角度讲述了如何对鲁棒性进行评估，提升对深度神经网络鲁棒性和评估方法的认…
