Conjuntos de entrenamiento, validación y prueba

Para saber si un modelo realmente aprendió, hay que probarlo con datos que no vio. Por eso los datos disponibles se dividen en tres conjuntos con funciones distintas.

• Entrenamiento: la porción más grande. Con ella el modelo ajusta sus parámetros.
• Validación: sirve para comparar versiones del modelo, elegir hiperparámetros y decidir cuándo detener el entrenamiento.
• Prueba: se reserva hasta el final y se usa una sola vez, o muy pocas, para estimar cómo funcionará el modelo en el mundo real.

La separación evita engañarse. Si eliges el modelo según su desempeño en el conjunto de prueba, ese conjunto deja de ser independiente y el resultado será optimista. Proporciones como 80/10/10 o 70/15/15 son habituales, pero dependen del volumen de datos. Cuando hay pocos datos, la validación cruzada aprovecha mejor la información.

Hay errores frecuentes que vale la pena conocer. La fuga de datos ocurre cuando información del conjunto de prueba se cuela en el entrenamiento, por ejemplo, con registros duplicados o con variables que revelan la respuesta. En datos con orden temporal, mezclar al azar es un error: hay que entrenar con el pasado y probar con el futuro. Y si los tres conjuntos no representan a la población real, el modelo puede verse bien en pruebas y fallar en producción.

Detectar el sobreajuste depende precisamente de comparar el desempeño entre estos conjuntos. En modelos de lenguaje, existe además el riesgo de que las preguntas de un benchmark público hayan aparecido en los datos de entrenamiento, lo que infla los resultados.