Stochastic Second-Order Methods For Deep Learning(深度学习中的随机二阶方法)

时间:2021-10-13         阅读:

光华讲坛——社会名流与企业家论坛第5861期

主题:Stochastic Second-Order Methods For Deep Learning(深度学习中的随机二阶方法)

主讲人:北京大学 文再文教授

主持人:经济数学学院 车茂林副教授

时间:2021年10月19日(周二)10:15-11:15

直播平台及会议ID:腾讯会议:909679525;密码:1019

主办单位:经济数学学院 科研处

主讲人简介:

文再文,北京大学北京国际数学研究中心教授,主要研究最优化算法与理论及其在机器学习、人工智能和信号处理中的应用。2016年获中国青年科技奖。2020年获国家万人计划科技创新领军人才,现为中国运筹学会常务理事,中国运筹学会数学规划分会副理事长。

内容提要:

Stochastic methods are widely used in deep learning. In this talk, we first review the state-of-the-art methods such as KFAC. Then we present a sketchy empirical natural gradient method and a multi-Step matrix-product natural gradient method. Numerical results on deep convolution networks illustrate that our methods are quite competitive to SGD and KFAC.

随机方法广泛用于深度学习中。在这个报告中,我们首先回顾了如KFAC等最新算法;然后提出了多部矩阵乘积梯度方法。卷积神经网络方面的例子表明我们的方法和SGD与KFAC有可比性。

最新信息