机器学习模型可化简为求解一个目标函数/损失函数的最优化问题，根据优化目标及约束的不同，可划分为凸优化（Convex optimization）与非凸优化（Non-convex optimization）两类。本次报告首先回顾了优化问题及凸优化的相关理论知识，进而面向机器学习中因目标函数非凸、可行域非凸或是边缘凸等非凸优化情况，介绍了凸松弛、非凸投影梯度下降、交替优化等非凸优化方法，并对神经网络模型的可优化理论进行了问答式介绍。期望本次报告可对理解算法优化过程及设计易优化目标函数提供帮助。
原创文章，作者：admin，如若转载，请注明出处：https://www.isclab.org.cn/2019/06/24/%e5%ad%a6%e6%9c%af%e6%8a%a5%e5%91%8a-%e6%9c%ba%e5%99%a8%e5%ad%a6%e4%b9%a0%e4%b8%ad%e7%9a%84%e9%9d%9e%e5%87%b8%e4%bc%98%e5%8c%96/
ChatGPT问世以来，LLM百花齐放，对我们的生活产生了巨大的影响。然而LLM生成的内容存在信息泄露、无中生有等诸多隐患。通过强化学习技术我们可以将生成内容与人类偏好对齐，控制L…
随着对抗样本的危险性日益凸显，提高模型的鲁棒性成为研究的主要方向之一，然而，在评估鲁棒性方面还没有统一的标准，使得不同的防御方法之间对比存在很大的困难。
扩散模型在数据生成的众多领域上呈现出了非常好的效果。然而，在实际应用过程中，扩散模型的采样原理导致其生成速度非常缓慢，严重限制了模型的实际应用效果。为了对采样生成过程进行优化，近年…
Virtualization-based Monitoring Virtualization-based Monitoring 是指利用虚拟化技术对上层虚拟机进行监控或者保护。通常…
特征选择是指为了构建模型而选择相关特征子集的过程，目的是去除特征中的无关特征和冗余特征，进而达到简化模型，增…
在机器学习中获得标注数据是一个重要的部分。但是在一些专业领域，标注成本高,成本高，导致了获得标注数据困难。主…
本次学术报告介绍了深度域适应方法的基本概念，以三种无监督域适应基本算法为例，简要梳理了域适应方法的发展脉络。通过分析半监督域适应方法论文，详细讲解了半监督域适应方法的基本原理。最后…
深度学习模型的鲁棒性解释方法旨在提升模型在面对输入扰动或对抗攻击时的解释一致性，是增强模型可信性和应用价值的重要研究方向。本次学术报告介绍了该领域的研究背景与发展现状，重点阐述了M…
机器学习模型一般可化简为求解一个目标函数/损失函数的最优化问题，根据优化目标及约束的不同，可划分为凸优化（C…
具有大量参数的深度神经网络是非常强大的机器学习系统。然而，在这样复杂的网络中，过拟合的问题难以解决。复杂的网络结构和缓慢的运行速度导致我们很难在测试时通过组合许多不同大型神经网络的…
