深度学习优化算法概述

    优化问题是机器学习的核心和本质。在深度学习中,即使有完全相同的数据集和模型框架,使用的优化算法不同,所得到的训练结果也可能不同。深度学习常用的参数优化算法是梯度下降,各优化算法的发展经历了SGD->SGDM->NAG->AdaGrad->AdaDelta/RMSprop->Adam的过程,那么各个算法之间有什么联系和区别呢?本次学术报告将带大家一起梳理各优化算法的发展历程和特点,并提出应用建议。

附件-深度学习优化算法概述.pdf

原创文章,作者:admin,如若转载,请注明出处:https://www.isclab.org.cn/2018/01/22/%e6%b7%b1%e5%ba%a6%e5%ad%a6%e4%b9%a0%e4%bc%98%e5%8c%96%e7%ae%97%e6%b3%95%e6%a6%82%e8%bf%b0/

(0)
adminadmin
上一篇 2018年1月7日
下一篇 2018年1月29日

相关推荐

  • 大模型越狱攻击的检测技术

    本次报告围绕大模型越狱攻击的检测技术展开,首先阐述了越狱检测的定义,然后介绍了常见的越狱攻击以及检测技术的研究现状。接着详细介绍了GradSafe和JailGuard两种主流方法,…

    2025年5月8日
    4.2K
  • 针对文本嵌入模型的模型反演攻击方法研究

    研究针对文本嵌入模型的模型反演攻击,揭示了自然语言处理领域面临的隐私泄露风险。本次学术报告介绍了关于文本嵌入模型模型反演攻击的最新方法,并指明了现有的缺陷和未来发展方向。

    2024年11月5日
    3.3K
  • 文本生成中的幻觉

    本次报告讲解了文本生成中的幻觉问题。首先从文本生成的基本原理出发引入到幻觉问题,着重介绍了幻觉的概念、产生原因以及解决方法。然后从添加外部信息和幻觉数据处理两个角度入手分别介绍了K…

    2023年8月20日
    3.3K
  • 无监督关键词提取方法介绍

    关键词提取技术是通过计算机程序从文档中自动提取重要性和主题性的词或短语的自动化技术,该技术在图书馆学、情报学和自然语言处理等领域应用广泛。目前关键词提取技术主要分为无监督和有监督这…

    2020年3月16日
    4.4K
  • 基于GAN的网络流量对抗样本生成技术

    随着机器学习的发展,机器学习已经广泛应用于入侵检测,但研究发现基于机器学习的检测技术存在安全隐患,极易遭受对抗样本的攻击,为了更好的评估入侵检测系统的鲁棒性,研究网络流量的对抗样本…

    2021年1月10日
    6.1K
  • 多人协作开发Git使用介绍

    本报告介绍多人协作开发中Git的使用,通过讲述版本控制的概念和比对不同版本控制的区别,详细阐述Git底层工作原理及Git多人协作流程和核心用法,掌握Git相关基本知识及Git的核心…

    2023年2月6日
    3.3K
  • 深度学习模型后门攻击检测

    本报告介绍了深度学习后门攻击基本概念及后门攻击检测发展历史和类型划分等背景知识,对2种基于模型演化策略的后门攻击检测算法进行了具体说明,阐述了深度学习后门攻击检测的发展趋势和未来前…

    2024年5月20日
    4.0K
  • 图神经网络可解释方法

    图神经网络模型的可解释性对于建立用户与决策模型之间的信任关系至关重要,为了安全、可信地部署图神经网络模型,需要提高图神经网络模型的可解释性和透明性。本次报告带大家了解图神经网络的可…

    2021年7月11日
    3.7K
  • 源代码安全补丁存在性测试

    本报告围绕“源代码安全补丁存在性测试”展开,聚焦于如何自动识别开源软件中的安全补丁,解决安全补丁与普通补丁混杂、厂商静默发布、攻击窗口缩短等问题,介绍了一种结构感知的检测方法——R…

    2025年7月21日
    3.2K
  • 不规则多元时间序列预测研究

    时序数据预测任务是时间序列处理领域中一项基本的任务,根据历史时间段数据序列预测未来一段时间的数据序列,广泛应用于天气预报、经济预测、医疗保健预测等领域。在复杂的现实世界中,时序数据…

    2024年3月15日
    4.0K