深度学习优化算法概述

    优化问题是机器学习的核心和本质。在深度学习中,即使有完全相同的数据集和模型框架,使用的优化算法不同,所得到的训练结果也可能不同。深度学习常用的参数优化算法是梯度下降,各优化算法的发展经历了SGD->SGDM->NAG->AdaGrad->AdaDelta/RMSprop->Adam的过程,那么各个算法之间有什么联系和区别呢?本次学术报告将带大家一起梳理各优化算法的发展历程和特点,并提出应用建议。

附件-深度学习优化算法概述.pdf

原创文章,作者:admin,如若转载,请注明出处:https://www.isclab.org.cn/2018/01/22/%e6%b7%b1%e5%ba%a6%e5%ad%a6%e4%b9%a0%e4%bc%98%e5%8c%96%e7%ae%97%e6%b3%95%e6%a6%82%e8%bf%b0/

(0)
adminadmin
上一篇 2018年1月7日
下一篇 2018年1月29日

相关推荐

  • 鲁棒性认证方法

    随着对抗样本的危险性日益凸显,提高模型的鲁棒性成为研究的主要方向之一,然而,在评估鲁棒性方面还没有统一的标准,使得不同的防御方法之间对比存在很大的困难。

    2021年9月13日
    4.2K
  • 模型窃取防御:从被动溯源到主动防御

    本次学术报告探讨模型窃取防御方法,重点介绍两种前沿防御方案。ModelShield采用自适应鲁棒水印技术,通过查询响应分布自动注入水印,实现被动溯源与版权验证;QUEEN则基于查询…

    2025年12月8日
    3.8K
  • 基于大语言模型的事件根因分析

    主要探讨基于大语言模型的事件根因分析。阐述其研究背景、意义,涉及 RCACopilot 和 RCAgent 算法,包含数据收集、处理、输出,以及算法的具体流程等。通过实验对比展示其…

    2024年11月27日
    3.5K
  • DQN深度强化学习算法

    本次学术报告主要给大家详细的介绍DQN算法原理及其调参细节,并且进行举例说明和总结以加深大家的理解。

    2020年5月31日
    3.8K
  • 表格数据生成:GAN模型的演进与未来

    表格数据生成能为深度学习扩充不平衡数据,同时也能避免隐私问题,研究如何生成高保真表格数据具有重要意义。本次报告分析了各个生成模型的优劣,以及GAN在表格数据领域的创新思路。

    2023年8月15日
    3.6K
  • Web快速开发方法简介

    本次报告先介绍了五种Web开发模式,讲解了各种开发模式的结构和优缺点,并结合实验室内部情况对合适的开发模式进行了推荐。之后简单介绍了Django、Flask、CherryPy这三个…

    2020年1月13日
    3.8K
  • 微架构推测执行漏洞检测

    CPU的性能提升是几十年来相关研究的重要主题,但随之而来的安全问题也愈发引起重视。其中推测执行漏洞因其种类多、隐蔽性高等问题使相关对抗方法的研究面临众多挑战,因此,如何提升CPU对…

    2023年12月27日
    3.9K
  • 基于因果推理的对抗防御方法

    基于因果推理的对抗防御方法通过因果干预、特征解耦与不变性学习,识别并强化数据中的因果特征,抑制模型对伪相关与“捷径特征”的依赖,从而在机理上增强模型的泛化能力和抗干扰能力,使其在遭…

    2025年11月10日
    3.4K
  • 大语言模型调研

    针对大语言模型展开调研,介绍大语言模型发展背景和研究现状,通过讲解LLaMA2模型的预训练和微调步骤,全面讲解大语言模型的训练过程,随后对越狱攻击大语言模型的方法进行研究,通过讲解…

    2024年1月3日
    3.5K
  • 跨语言过程调用方法

    本报告介绍了跨语言过程调用的基本概念,展示了基于socket、http通信和rpc框架等三种方法的网络通信式过程调用的原理,梳理了基于ctypes和pybind11等两种方法的链接…

    2022年10月31日
    3.3K