机器学习中的非凸优化

      机器学习模型可化简为求解一个目标函数/损失函数的最优化问题,根据优化目标及约束的不同,可划分为凸优化(Convex optimization)与非凸优化(Non-convex optimization)两类。本次报告首先回顾了优化问题及凸优化的相关理论知识,进而面向机器学习中因目标函数非凸、可行域非凸或是边缘凸等非凸优化情况,介绍了凸松弛、非凸投影梯度下降、交替优化等非凸优化方法,并对神经网络模型的可优化理论进行了问答式介绍。期望本次报告可对理解算法优化过程及设计易优化目标函数提供帮助。

附件-机器学习中的非凸优化.pdf

原创文章,作者:admin,如若转载,请注明出处:https://www.isclab.org.cn/2019/06/24/%e5%ad%a6%e6%9c%af%e6%8a%a5%e5%91%8a-%e6%9c%ba%e5%99%a8%e5%ad%a6%e4%b9%a0%e4%b8%ad%e7%9a%84%e9%9d%9e%e5%87%b8%e4%bc%98%e5%8c%96/

(0)
adminadmin
上一篇 2019年6月19日 上午10:25
下一篇 2019年7月1日 下午9:14

相关推荐

  • http协议概览

    HTTP 协议本身并不复杂,理解起来也不会花费太多学习成本,但很多前端工程师常常忽视了 HTTP 协议这部分基础内容。实际上,如果想要在专业技术道路上走得更坚实,绝对不能绕开学习 …

    2020年4月25日
    2.1K
  • 深度学习模型公平性修复

    深度学习模型具有强大的特征提取能力,在决策领域得到广泛应用,但往往产生不公平的预测结果,造成不良的社会影响,现有的公平性修复方法往往会导致准确率下降。本次学术报告介绍了一种新的深度…

    2025年9月8日
    1.6K
  • 命名实体识别简介

    2014年10月18日
    2.5K
  • 日志数据的深度学习异常检测方法

    本报告介绍了利用系统的日志数据进行异常检测所面临的挑战,给出了日志数据分类、用途、实例等基本概念和基础知识,并对日志数据的解析处理和利用日志数据进行异常检测的高水平文献算法进行了详…

    2021年9月23日
    2.3K
  • 基于网络一致性的对抗样本检测

    人工智能系统面临着多种安全威胁,其中对抗样本攻击被广泛应用于诸如计算机视觉、自然语言处理、音频处理以及恶意软件检测等多个领域。本文介绍了常见的对抗样本检测方法和原理。特别的,简单分…

    2020年12月20日
    2.3K
  • 基于图的知识追踪方法研究

    随着智慧教育系统(Intelligent Tutoring System, ITS)的快速发展,ITS以其时空约束少、便捷程度高和个性化定制学习的优势,在现代教育事业中获得广泛关注…

    2023年5月15日
    2.1K
  • 对抗环境下的鲁棒机器学习

    对抗样本的存在表明现代神经网络是相当脆弱的。为解决这一问题,研究者相继提出了许多方法,其中使用对抗样本进行训练被认为是至今最有效的方法之一。 然而,经过对抗训练后神经网络对于正常样…

    2021年1月21日
    2.3K
  • 基于MPEG-2码流的非线性编辑系统编辑方法

    以本人为主提出了基于ES(基本数据流层)的视, 音频剪辑算法;基于打包数据流层的视, 音频剪辑算法;基于PES流的视, 音频同步剪辑算法。并基于这些算法实现了基于MPEG-2码流的…

    2011年10月9日
    1.9K
  • 关系抽取之远程监督

    远程监督方法用于关系抽取任务,会给数据集带来噪声样本,为此,本文介绍了两种基于多示例学习的去噪方法,能够有效的去除训练集中存在的噪声样本。

    2019年8月24日
    2.1K