Ajuste por instrucciones (instruction tuning)

El ajuste por instrucciones es un tipo de ajuste fino cuyo objetivo no es una tarea concreta, sino una habilidad general: entender y obedecer instrucciones. Se entrena al modelo con miles de pares «instrucción → respuesta» de tareas muy variadas (resume este texto, traduce al inglés, clasifica este comentario, explica este concepto).

¿Por qué hace falta? Un modelo que sólo pasó por preentrenamiento aprendió a continuar textos. Si le escribes «Escribe una receta de pozole», podría responder con otra lista de peticiones parecidas, porque así se ven muchos textos en internet. El ajuste por instrucciones le enseña el formato «me piden algo, lo hago».

Un trabajo de referencia es FLAN, de Google (2021): los autores ajustaron un modelo con más de 60 conjuntos de tareas redactadas como instrucciones y observaron que mejoraba su desempeño en tareas nuevas que nunca había visto, en modo zero-shot.

En la práctica, el ajuste por instrucciones suele ser el primer paso del posentrenamiento, seguido de técnicas basadas en preferencias como el RLHF. A los modelos resultantes se les suele etiquetar como «instruct» o «chat», a diferencia de los modelos «base». Si descargas un modelo de pesos abiertos, fíjate en esa diferencia: el base no se comporta como asistente.