Preentrenamiento

El preentrenamiento es la etapa en la que un modelo aprende «de todo un poco» antes de especializarse. En los LLM, consiste en mostrarle cantidades gigantescas de texto (páginas web, libros, código) y pedirle una sola cosa: predecir el siguiente token. Cada vez que se equivoca, sus parámetros se ajustan un poco.

Como la «respuesta correcta» está en el propio texto, no hace falta que personas etiqueten los datos: es aprendizaje autosupervisado. Esa es la razón por la que se puede escalar a billones de tokens. Al hacerlo, el modelo absorbe gramática, vocabulario, datos del mundo, estilos y patrones de razonamiento.

El resultado es un modelo base: sabe continuar textos, pero no necesariamente obedece instrucciones ni conversa bien. Para eso viene una segunda fase, el posentrenamiento, con ajuste por instrucciones, RLHF u otras técnicas.

El preentrenamiento es, con mucho, la parte más cara: requiere miles de GPU durante semanas o meses, lo que explica por qué sólo unas pocas organizaciones entrenan modelos de frontera desde cero. También es aquí donde se fija la «fecha de corte» del conocimiento del modelo y donde se heredan sesgos y problemas de derechos de autor de los datos.