过参数化神经网络的泛化能力
发布时间:2023年04月20日
浏览次数:2554
发布者: Wenqiong Li
主讲人: 林乾(清华大学)
活动时间: 从 2023-04-25 16:00 到 17:00
场地: 北京国际数学研究中心,镜春园78号院(怀新园)77201室
摘要:我们考虑梯度下降法训练的较宽的深层全连接神经网络的泛化能力。 我们首先将论证在宽度足够大时,对于一维数据,由梯度下降训练的两层神经网络的泛化能力在适当的早停策略下可以达到极小极大率,而由梯度下降训练至过拟合的两层神经网络没有泛化能力。基于这个结果,我们对Benign Overfitting现象提出了一个新的解释。 随后,对于更一般的数据或者高维数据,我们将会简单介绍一下我们组与深层神经网络的泛化能力相关的部分工作,并介绍一些可以做的问题。如果时间允许,我们也将简短的讨论一下如何对不太宽的深层神经网络的动力学性质进行研究。
报告人:林乾,清华大学统计学研究中心副教授, 2010年在麻省理工数学系获得博士学位。2017年8月至今在清华大学任教。主要研究方向为高维充分性降维,机器学习中的核方法,深度学习的数学理论等。