Aprendizaje autosupervisado

El aprendizaje autosupervisado permite entrenar modelos con enormes cantidades de datos sin que nadie los etiquete a mano. El truco es convertir los propios datos en un problema supervisado: se oculta o altera una parte y se le pide al modelo que la reconstruya. Las «etiquetas» salen de los datos mismos.

Los ejemplos más conocidos están en el lenguaje. BERT, presentado por Google en 2018, se entrenaba ocultando palabras de una oración y prediciéndolas por el contexto. Los modelos tipo GPT predicen la siguiente palabra (en realidad, el siguiente token) de un texto. Repetida sobre miles de millones de frases, esa tarea simple obliga al modelo a captar gramática, hechos y relaciones. En imágenes se usan variantes como reconstruir partes tapadas de una foto o reconocer que dos recortes vienen de la misma imagen.

Esta técnica es la base del preentrenamiento de los modelos fundacionales. Después, el modelo suele ajustarse con menos datos etiquetados para tareas concretas, lo que conecta con el aprendizaje por transferencia.

Una confusión común es llamarlo simplemente «no supervisado». Técnicamente sí aprende de datos sin anotar, pero el entrenamiento es supervisado en su mecánica: hay una respuesta correcta y una función de pérdida que mide el error. Por eso muchos autores lo tratan como una categoría propia, a medio camino entre el supervisado y el no supervisado.