深度学习优化算法概述

    优化问题是机器学习的核心和本质。在深度学习中,即使有完全相同的数据集和模型框架,使用的优化算法不同,所得到的训练结果也可能不同。深度学习常用的参数优化算法是梯度下降,各优化算法的发展经历了SGD->SGDM->NAG->AdaGrad->AdaDelta/RMSprop->Adam的过程,那么各个算法之间有什么联系和区别呢?本次学术报告将带大家一起梳理各优化算法的发展历程和特点,并提出应用建议。

附件-深度学习优化算法概述.pdf

原创文章,作者:admin,如若转载,请注明出处:https://www.isclab.org.cn/2018/01/22/%e6%b7%b1%e5%ba%a6%e5%ad%a6%e4%b9%a0%e4%bc%98%e5%8c%96%e7%ae%97%e6%b3%95%e6%a6%82%e8%bf%b0/

(0)
adminadmin
上一篇 2018年1月7日
下一篇 2018年1月29日

相关推荐

  • 胶囊(向量神经)网络

        胶囊(向量神经)网络是针对CNN的缺陷提出的一种新的方法,主要实现了两点改进:1.将CNN的输出结果由标量(scalar)替换成了向…

    学术报告 2018年2月26日
    1.4K
  • 智能体的工具调用攻击

    本报告探讨了大语言模型智能体工具调用机制中的安全漏洞,重点分析了两种新型攻击方法。AMA攻击通过黑盒迭代优化恶意工具的元数据,使其在语义合法的前提下显著提升被智能体选择的概率,在多…

    2026年1月26日
    1.0K
  • 基于深度学习的文本分类方法

    在自然语言处理任务中,文本分类旨在将文本文档分类为给定的类别,是一项基础而重要的任务。近年来,深度神经模型由于其表现力和对特征工程的最低要求而在文本分类中越来越受欢迎。然而,将深度…

    2022年3月7日
    1.2K
  • 基于深度学习的二进制函数相似性分析:深入探究两大主流研究方向

    二进制函数相似性分析在1-Day漏洞检测、代码克隆检测、恶意软件检测、软件剽窃检测和自动软件修复等多个应用领域中具有广泛的应用。本次学术报告主要讲解了二进制函数相似性分析任务的研究…

    2024年2月27日
    1.5K
  • Bias-Variance trade-off

    背景 熟悉模式识别的童鞋都很清楚,在模式识别领域内存在许多的学习算法和技术。面对纷繁的算法,我们必然会产生疑问:究竟哪一个算法才是“最好的”。值的强调的是每个算法都有相应的先验假设…

    2016年1月21日
    1.8K
  • XenAccess介绍

    1.Xen虚拟平台 Xen Hypervisor 位于操作系统与硬件之间,为其上层运行的操作系统内核提供虚拟化的硬件环境。Xen采用混合模式(Hybrid Model),因此在Xe…

    2014年10月21日
    1.6K
  • 扩散模型的后门攻击研究

    文本-图像生成模型在当今生活中有广泛应用,最新研究表明,这类多模态的生成模型也面临着安全风险,例如对抗样本攻击、成员推理攻击和后门攻击等。本次学术报告介绍了文本-图像生成模型最新的…

    2025年9月16日
    1.2K
  • 网络表示学习

          这次报告讲解了网络表示学习的基本概念,对LINE算法的原理进行了深入讲解,并对网络表示学习算法的应用场景做了…

    2018年9月17日
    1.1K
  • 使用远程服务器搭建深度学习开发环境

    本次报告首先讲解了虚拟化技术的原理和使用方式,结合多种虚拟化方式的特点,介绍了实验室内部的选择和使用情况。之后以实验室常用的系统为例,讲解了使用远程服务器搭建深度学习开发环境的过程…

    2020年2月27日
    1.5K
  • 智能模型的不确定性估计

    智能模型的不确定性是模型内生脆弱性问题的重要表征之一,反映了模型对输入数据预测结果的可信程度,包含了对数据和模型两方面缺陷的量化估计。本次报告介绍了模型不确定性估计工作基本概念,讲…

    2023年11月6日
    1.2K