Aprendizaje en contexto (in-context learning)

El aprendizaje en contexto es la habilidad de un LLM para «aprender» una tarea al vuelo a partir de lo que aparece en su prompt: instrucciones, ejemplos o documentos. Lo sorprendente es que no hay entrenamiento de por medio: los parámetros del modelo no cambian. Todo ocurre durante la inferencia.

El artículo de GPT-3 (2020) lo presentó como una de las capacidades clave de los modelos grandes: con ejemplos en el prompt (few-shot), el modelo resolvía tareas para las que nunca fue ajustado. Desde entonces, se ha estudiado intensamente por qué funciona; una revisión de 2023 (Dong y colegas) recopila hipótesis y técnicas, pero el mecanismo exacto sigue siendo objeto de investigación.

Es la base de casi todo lo que haces con un asistente: cuando le pegas un reglamento interno y le preguntas por él, o le muestras dos ejemplos de cómo quieres un reporte, está aprendiendo en contexto. También es el fundamento de técnicas como RAG, que llenan el contexto con información relevante.

Su gran limitación es que es temporal: lo «aprendido» se pierde cuando termina la conversación o cuando el texto sale de la ventana de contexto. Para cambios permanentes hace falta ajuste fino o mecanismos de memoria.