优化问题是机器学习的核心和本质。在深度学习中，即使有完全相同的数据集和模型框架，使用的优化算法不同，所得到的训练结果也可能不同。深度学习常用的参数优化算法是梯度下降，各优化算法的发展经历了SGD->SGDM->NAG->AdaGrad->AdaDelta/RMSprop->Adam的过程，那么各个算法之间有什么联系和区别呢？本次学术报告将带大家一起梳理各优化算法的发展历程和特点，并提出应用建议。
原创文章，作者：admin，如若转载，请注明出处：https://www.isclab.org.cn/2018/01/22/%e6%b7%b1%e5%ba%a6%e5%ad%a6%e4%b9%a0%e4%bc%98%e5%8c%96%e7%ae%97%e6%b3%95%e6%a6%82%e8%bf%b0/
网络协议逆向技术是指根据网络流量数据包进行静态分析，推断其所属协议的字段信息、报文格式、交互模式等信息。针对互联网中存在的大量未知（私有）协议进行逆向分析，发现潜在安全漏洞，对维护…
本次学术报告主要给大家详细的介绍DQN算法原理及其调参细节，并且进行举例说明和总结以加深大家的理解。
注意力机制应用在encoder-decoder模型中，可以使Decoder根据时刻的不同，让每一时刻的输入都…
机器学习已经演化为了一种服务模式，即机器学习即服务模式。互联网公司或提供模型训练接口，或提供模型预测接口给用户以提供相应的服务。但是，在提供服务的整个过程中，机器学习模型不可避免的…
ChatGPT问世以来，LLM百花齐放，对我们的生活产生了巨大的影响。然而LLM生成的内容存在信息泄露、无中生有等诸多隐患。通过强化学习技术我们可以将生成内容与人类偏好对齐，控制L…
聚类学习作为机器学习中最为常用的算法，已经广泛的应用于许多领域。本文主要介绍聚类的一些基础知识，并且以概率聚类模型为例，并讲解一个聚类算法：基于t分布的熵惩罚最大期望算法，使大家对…
针对开源软件库输入构建需要符合特定编程语言语法规范的问题，现有研究方法分别从构建模型输入和构建API输入两条路线出发，。LEMON方法针对缺陷引起的极小输出差异难以被察觉的问题，采…
通过模型反演攻击方法研究，验证了模型训练数据面临泄露风险的问题，并希望以此促进对应防御手段的发展。本次学术报告介绍了模型反演攻击方法的相关知识，并聚焦于两个经典的白盒和黑盒攻击方法…
Deep Learning词向量生成的方法通过神经网络模型让机器自动学习到每个词有效的特征表示，而CBOW模型和Skip-gram模型是目前最流行、常用的Deep learni…
以深度学习为代表的人工智能技术正在悄然改变人们的生产生活方式，但深度学习模型的部署也带来了一定的安全隐患。对抗样本攻击能使深度学习模型系统进行误判，对各个人工智能应用领域造成了严重…
