本次报告介绍了机器学习模型训练过程中的显存优化方法。首先介绍了深度学习框架的显存利用机制，随后结合原理和具体实例讲解了“代码级”和“框架级”显存优化方法，引导大家在实际科研过程中更好地利用显存空间。
如何优雅地进行模型训练-沈宇辉原创文章，作者：bfs，如若转载，请注明出处：https://www.isclab.org.cn/2022/05/05/%e5%a6%82%e4%bd%95%e4%bc%98%e9%9b%85%e5%9c%b0%e8%bf%9b%e8%a1%8c%e6%a8%a1%e5%9e%8b%e8%ae%ad%e7%bb%83/
本文介绍两种预训练加密流量分类方法：基于BERT和包头信息的分类系统，利用包头字段生成语义句子；YaTC模型采用MFR矩阵和注意力机制，结合MAE进行预训练。未来研究需优化模型效率…
随着大语言模型生成文本规模持续扩大，跨模型、跨领域场景下的机生文本检测面临泛化性不足的挑战。本次学术报告从文本生成机制出发，系统介绍了基于前文记忆建模与多范围写作策略差异的代表性方…
深度学习模型校准技术是模型预测可靠性的重要保障手段之一，其通过正则化或后处理方法调节模型对样本实例上的置信度，使其与预测的真实概率良好匹配。本次报告介绍了深度学习模型校准的基本概念…
认知诊断通过挖掘学习者行为、心理和认知之间的关系，利用学习者的学习数据，对其认知状态进行综合评估和诊断，其输出结果，即学生对于不同知识概念的熟练程度应与实际情况相符，具有高度的可解…
多智能体系统安全是当前人工智能研究中的重要方向，与系统稳定性、信息可信性及防御能力密切相关，但现有研究多集中于单智能体输入输出过滤或局部安全策略，难以刻画复杂交互网络中的全局风险传…
本次报告介绍了模糊测试以及各种分类方法，并且讲解了目前流行的模糊测试工具AFL的原理，阐明了AFL工具是如何提高代码覆盖率的。针对AFL存在的测试用例生成盲目性的问题，介绍了一种基…
现在大多数方法都是直推式学习， 不能直接泛化到未知节点。这些方法是在一个固定的图上直接学习每个节点embedding，但是大多情况图是会演化的，当网络结构改变以及新节点的出现，直推…
meta-learning即元学习，也可以称为“learning to learn”。常见的深度学习模型，目的是学习一个用于预测的数学模型。而元学习面向的不是学习的结果，而是学习的…
针对大语言模型展开调研，介绍大语言模型发展背景和研究现状，通过讲解LLaMA2模型的预训练和微调步骤，全面讲解大语言模型的训练过程，随后对越狱攻击大语言模型的方法进行研究，通过讲解…
模型窃取防御技术能够促进深度神经网络的健康发展，推动数据交流与共享。本次报告从输入输出扰动的角度分析了模型窃取防御方法的框架，从数学角度给出了防御的基本原理以及优缺点，利用防御方法…
