机器学习模型可化简为求解一个目标函数/损失函数的最优化问题，根据优化目标及约束的不同，可划分为凸优化（Convex optimization）与非凸优化（Non-convex optimization）两类。本次报告首先回顾了优化问题及凸优化的相关理论知识，进而面向机器学习中因目标函数非凸、可行域非凸或是边缘凸等非凸优化情况，介绍了凸松弛、非凸投影梯度下降、交替优化等非凸优化方法，并对神经网络模型的可优化理论进行了问答式介绍。期望本次报告可对理解算法优化过程及设计易优化目标函数提供帮助。
原创文章，作者：admin，如若转载，请注明出处：https://www.isclab.org.cn/2019/06/24/%e5%ad%a6%e6%9c%af%e6%8a%a5%e5%91%8a-%e6%9c%ba%e5%99%a8%e5%ad%a6%e4%b9%a0%e4%b8%ad%e7%9a%84%e9%9d%9e%e5%87%b8%e4%bc%98%e5%8c%96/
近年来，基于机器学习的算法在恶意流量检测领域中越来越流行，但此类算法通常使用浅层模型，在训练之前需要一组专家手工制作的特征来预处理数据。此类方法的主要问题是，在不同类型的场景下，手…
跨语言命名实体识别是用源语言的标记数据训练NER模型，并在目标语言的测试数据上对其进行评估。其利用具有丰富实体标签的高资源(源)语言(如英语)的知识来克服低(零)资源(目标)语言的…
iForest （Isolation Forest）孤立森林 是一个基于Ensemble的快速异常检测方法，具有线性时间复杂度和高精…
ChatGPT问世以来，LLM百花齐放，对我们的生活产生了巨大的影响。然而LLM生成的内容存在信息泄露、无中生有等诸多隐患。通过强化学习技术我们可以将生成内容与人类偏好对齐，控制L…
程序崩溃的根本原因分析技术旨在通过分析崩溃时的输入数据，自动推断并定位导致崩溃的根本原因所在的位置，辅助开发人员快速修复软件缺陷。本次报告介绍了2个利用谓词进行程序崩溃的根本原因分…
1 基本概念 维基百科对动态规划（Dynamic programming，DP）的定义：它是一种在数学、计算机科学和经济学中使用的，通过把原问题分解为相对简单的子问题的方式求解复杂…
源代码补丁正确性测试是自动程序修复（Automated Program Repair, APR）流程的最后一个环节，旨在验证APR所生成的补丁是否真正解决了目标缺陷且未引入新的问题…
随着机器学习的快速发展，图像分类、恶意软件识别等多个领域都通过建立机器学习模型解决相应的问题。但由于一些训练出的模型可能涉及训练数据的隐私信息与模型的商业价值，所以其安全性一直备受…
网络嵌入（Network Embedding）是针对网络中节点进行特征学习的一项新兴的研究任务，它旨在将网络中的节点表示成低维、实值、稠密的向量形式，使得得到的向量形式可以在向量空…
Batch Normalization（BN）自从提出之后，因为效果特别好，很快被作为深度学习的标准工具应用在了各种场合。BN大法虽然好，但是也存在一些局限和问题，诸如当Batch…
