Época (epoch)

Una época (epoch) es una vuelta completa por todo el conjunto de entrenamiento: el modelo ha visto cada ejemplo una vez. Como los datos no se procesan todos de golpe, sino en grupos llamados lotes, una época se compone de varias iteraciones. Si tienes 10,000 ejemplos y un tamaño de lote de 100, una época equivale a 100 iteraciones, cada una con su actualización de pesos.

En una sola época el modelo rara vez aprende lo suficiente, así que suele entrenarse durante varias, desde unas cuantas hasta cientos, según el problema. El número de épocas es un hiperparámetro. Muy pocas pueden dejar al modelo en subajuste; demasiadas pueden llevarlo al sobreajuste, porque empieza a memorizar los ejemplos que ve repetidamente.

Para decidir cuántas usar, se vigila el error en el conjunto de validación al final de cada época. Una práctica común es la parada temprana: detener el entrenamiento cuando el error de validación deja de mejorar durante cierto número de épocas y conservar la mejor versión del modelo.

En el preentrenamiento de los grandes modelos de lenguaje el concepto cambia de escala: los conjuntos de datos son tan enormes que muchos modelos se entrenan alrededor de una sola época sobre la mayor parte de los datos, o repiten sólo ciertas fuentes de alta calidad. Por eso en ese contexto suele hablarse más de tokens procesados que de épocas.