论文 · 资源记录

Scaling Laws for Neural Language Models

在受控实验中研究语言模型损失随参数量、数据量和训练计算变化的经验幂律。

Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, Dario Amodei2020链接核验于 2026-07-14

为什么重要

用于说明规模律是特定数据、模型与损失范围内的经验关系,不是无条件能力定律。

阅读前提

官方入口