Generalization Ability of Overparametrized Neural Network
Time: 2023-04-20
Published By: Wenqiong Li
Speaker(s): Qian Lin (Tsinghua University)
Time: 16:00-17:00 April 25, 2023
Venue: Room 77201, Jingchunyuan 78, BICMR
摘要:我们考虑梯度下降法训练的较宽的深层全连接神经网络的泛化能力。 我们首先将论证在宽度足够大时,对于一维数据,由梯度下降训练的两层神经网络的泛化能力在适当的早停策略下可以达到极小极大率,而由梯度下降训练至过拟合的两层神经网络没有泛化能力。基于这个结果,我们对Benign Overfitting现象提出了一个新的解释。 随后,对于更一般的数据或者高维数据,我们将会简单介绍一下我们组与深层神经网络的泛化能力相关的部分工作,并介绍一些可以做的问题。如果时间允许,我们也将简短的讨论一下如何对不太宽的深层神经网络的动力学性质进行研究。
报告人:林乾,清华大学统计学研究中心副教授, 2010年在麻省理工数学系获得博士学位。2017年8月至今在清华大学任教。主要研究方向为高维充分性降维,机器学习中的核方法,深度学习的数学理论等。