Leyes de escalamiento

Las leyes de escalamiento son regularidades observadas, no leyes físicas: describen cómo baja el error de un modelo de lenguaje conforme crecen tres ingredientes, el número de parámetros, la cantidad de datos de entrenamiento y el cómputo de entrenamiento.

Un trabajo de OpenAI de 2020 (Kaplan y colegas) encontró que la pérdida del modelo disminuye siguiendo una ley de potencias suave y predecible al escalar esos factores, a lo largo de varios órdenes de magnitud. Eso dio a los laboratorios una brújula: si inviertes X veces más cómputo, puedes estimar cuánto mejorará el modelo. En 2022, DeepMind (artículo «Chinchilla») corrigió la receta: mostró que muchos modelos estaban subentrenados y que, para un presupuesto fijo, conviene crecer datos y parámetros en proporción similar. Su modelo de 70 mil millones de parámetros, entrenado con más datos, superó a otros mucho más grandes.

Estas leyes explican en buena medida la carrera por centros de datos y GPU, y la preocupación por la huella energética. Más recientemente, los modelos de razonamiento mostraron otra dimensión: mejorar con más cómputo al momento de responder.

Matices: predicen la pérdida promedio, no qué habilidades concretas aparecerán; y no garantizan que la tendencia continúe indefinidamente, pues los datos de calidad y la energía son finitos.