机器学习中的非凸优化

      机器学习模型可化简为求解一个目标函数/损失函数的最优化问题,根据优化目标及约束的不同,可划分为凸优化(Convex optimization)与非凸优化(Non-convex optimization)两类。本次报告首先回顾了优化问题及凸优化的相关理论知识,进而面向机器学习中因目标函数非凸、可行域非凸或是边缘凸等非凸优化情况,介绍了凸松弛、非凸投影梯度下降、交替优化等非凸优化方法,并对神经网络模型的可优化理论进行了问答式介绍。期望本次报告可对理解算法优化过程及设计易优化目标函数提供帮助。

附件-机器学习中的非凸优化.pdf

原创文章,作者:admin,如若转载,请注明出处:https://www.isclab.org.cn/2019/06/24/%e5%ad%a6%e6%9c%af%e6%8a%a5%e5%91%8a-%e6%9c%ba%e5%99%a8%e5%ad%a6%e4%b9%a0%e4%b8%ad%e7%9a%84%e9%9d%9e%e5%87%b8%e4%bc%98%e5%8c%96/

(0)
adminadmin
上一篇 2019年6月19日 上午10:25
下一篇 2019年7月1日 下午9:14

相关推荐

  • 常用距离计算方法

      韩磊 2014/12/25

    2014年12月19日
    3.6K
  • 协同训练

        协同训练是一种多视角学习方法,当数据充分时,在具有这种特征的数据集的任何一个视图上均可以利用一定的机器学习算法训练出一个强分类器。但…

    学术报告 2018年1月7日
    3.2K
  • Android消息机制

    Android消息机制,主要讲解Android系统内部不同线程之间的信息交互,具体介绍了MessageQueue、Looper和Handler三者之间的交互和各自的原理。 附件-A…

    学术报告 2018年4月3日
    3.3K
  • 预训练加密流量表征方法-巩锟

    本次报告从BERT框架入手,讲解基于预训练的加密流量表征方法。首先介绍加密流量分析的问题和挑战,在基本概念部分着重分析BERT输入表示、预训练过程中的MLM和NSP任务,然后以ET…

    2023年8月7日
    3.2K
  • 智能体的工具调用攻击

    本报告探讨了大语言模型智能体工具调用机制中的安全漏洞,重点分析了两种新型攻击方法。AMA攻击通过黑盒迭代优化恶意工具的元数据,使其在语义合法的前提下显著提升被智能体选择的概率,在多…

    2026年1月26日
    3.8K
  • 鲁棒性认证方法

    随着对抗样本的危险性日益凸显,提高模型的鲁棒性成为研究的主要方向之一,然而,在评估鲁棒性方面还没有统一的标准,使得不同的防御方法之间对比存在很大的困难。

    2021年9月13日
    3.9K
  • 元胞自动机原理及其在显著性检测中的应用

          元胞自动机(cellular automata,CA) 是一种时间、空间、状态都离散,空间相互作用和时间因果…

    2018年11月6日
    3.4K
  • 深度学习模型后门攻击检测

    本报告介绍了深度学习后门攻击基本概念及后门攻击检测发展历史和类型划分等背景知识,对2种基于模型演化策略的后门攻击检测算法进行了具体说明,阐述了深度学习后门攻击检测的发展趋势和未来前…

    2024年5月20日
    3.9K
  • 动态网络嵌入方法研究

    传统的网络表示一般使用高维的稀疏向量,但是局限在于难以度量节点间的相似性,而一般的静态网络嵌入方法,忽略网络的动态演化过程,因此提出了基于动态网络的嵌入方法学习。本次将基于深度自编…

    2021年6月14日
    3.3K
  • 图半监督学习

          图半监督学习是半监督学习中的一种,基于聚类假设和流形假设,利用少量的有标记样本和大量的未标记样本,提高训练得…

    2018年9月3日
    3.0K