色情网站

色情网站

泛函尺度律:大模型尺度现象的动力学解释

发布时间:2025-10-24

演讲人: 吴磊 【北京大学】

时间:14:00-15:00, Oct 24, 2025 (Tue)

地点:吕大龙楼701会议室

内容:

大模型尺度律揭示:性能随训练数据规模和计算量的增长呈现出可预测的幂律提升。这一规律深刻推动了现代人工智能的发展,但长期停留在经验观察层面,缺乏理论理解。为探究其成因,我们引入幂律核回归(power-law kernel regression)这一简化模型,作为理论原型来抽象尺度现象的关键机制。基于该模型的动力学推导,我们提出泛函尺度律(Functional Scaling Laws, FSL):通过“内蕴时间”这一核心概念,将尺度律扩展为刻画整个训练过程的“泛函”形式,从而统一描述了不同模型规模和超参数设置下的损失演化。更进一步,FSL还揭示了“预热-稳定-退火”等常用学习率调度策略的有效性,显示出对实际大模型训练的潜在指导价值。

个人简介:

吴磊,北京大学数学科学学院与国际机器学习研究中心助理教授,主要研究方向为深度学习的数理基础。2012 年毕业于南开大学,获数学与应用数学学士学位; 2018 年毕业于北京大学,获得计算数学博士学位。2018 年11 月至2021 年 10 月,先后在美国普林斯顿大学与宾夕法尼亚大学从事博士后研究工作。相关成果发表于 NeurIPS、ICML、AoS,  JMLR 等国际顶级会议与期刊。
返回列表
演讲人 吴磊 时间 14:00-15:00, Oct 28, 2025 (Tue)
地点 吕大龙楼701会议室 EN
TOP