优化问题是机器学习的核心和本质。在深度学习中，即使有完全相同的数据集和模型框架，使用的优化算法不同，所得到的训练结果也可能不同。深度学习常用的参数优化算法是梯度下降，各优化算法的发展经历了SGD->SGDM->NAG->AdaGrad->AdaDelta/RMSprop->Adam的过程，那么各个算法之间有什么联系和区别呢？本次学术报告将带大家一起梳理各优化算法的发展历程和特点，并提出应用建议。
原创文章，作者：admin，如若转载，请注明出处：https://www.isclab.org.cn/2018/01/22/%e6%b7%b1%e5%ba%a6%e5%ad%a6%e4%b9%a0%e4%bc%98%e5%8c%96%e7%ae%97%e6%b3%95%e6%a6%82%e8%bf%b0/
针对大语言模型展开调研，介绍大语言模型发展背景和研究现状，通过讲解LLaMA2模型的预训练和微调步骤，全面讲解大语言模型的训练过程，随后对越狱攻击大语言模型的方法进行研究，通过讲解…
段错误（segmentation fault）是我们在Linux下编程以及在线提交代码常见的错误。本次学术报…
研究针对文本嵌入模型的模型反演攻击，揭示了自然语言处理领域面临的隐私泄露风险。本次学术报告介绍了关于文本嵌入模型模型反演攻击的最新方法，并指明了现有的缺陷和未来发展方向。
本次报告围绕大模型越狱攻击的检测技术展开，首先阐述了越狱检测的定义，然后介绍了常见的越狱攻击以及检测技术的研究现状。接着详细介绍了GradSafe和JailGuard两种主流方法，…
本次报告介绍了机器学习模型训练过程中的显存优化方法。首先介绍了深度学习框架的显存利用机制，随后结合原理和具体实例讲解了“代码级”和“框架级”显存优化方法，引导大家在实际科研过程中更…
深度学习在近十年取得了长足发展。由于其在复杂领域表现出优异的性能，逐渐被集成到软件体系中形成深度学习系统。这一方面推动了深度学习的发展，另一方面也对深度学习的安全性提出了巨大挑战：…
网络表示学习（Network Representation Learning），又名网络嵌入（Network Embedding）、图嵌入（Graph Embedding），旨在从…
1.Xen虚拟平台 Xen Hypervisor 位于操作系统与硬件之间，为其上层运行的操作系统内核提供虚拟化的硬件环境。Xen采用混合模式（Hybrid Model），因此在Xe…
本次报告讲解了文本生成中的幻觉问题。首先从文本生成的基本原理出发引入到幻觉问题，着重介绍了幻觉的概念、产生原因以及解决方法。然后从添加外部信息和幻觉数据处理两个角度入手分别介绍了K…
机器学习已经演化为了一种服务模式，即机器学习即服务模式。互联网公司或提供模型训练接口，或提供模型预测接口给用户以提供相应的服务。但是，在提供服务的整个过程中，机器学习模型不可避免的…
