Aprendizaje por refuerzo con retroalimentación humana (RLHF)

El RLHF (reinforcement learning from human feedback) es una de las técnicas que convirtieron a los modelos de lenguaje en asistentes conversacionales. Un modelo recién preentrenado sabe continuar textos, pero no necesariamente responde lo que pides, ni de forma útil o segura. El RLHF lo orienta usando el juicio de personas.

El proceso típico, descrito por OpenAI en su trabajo InstructGPT (2022), tiene tres pasos: (1) personas escriben respuestas ejemplares y se hace un ajuste supervisado; (2) el modelo genera varias respuestas a una misma pregunta y evaluadores humanos las ordenan de mejor a peor, con lo que se entrena un modelo de recompensa que imita esas preferencias; (3) se usa aprendizaje por refuerzo para que el modelo produzca respuestas que ese modelo de recompensa califique alto. La idea de aprender de comparaciones humanas viene de un trabajo de 2017 de Christiano y colegas.

Su efecto fue notable: en InstructGPT, evaluadores prefirieron las respuestas de un modelo de 1,300 millones de parámetros ajustado con RLHF sobre las de GPT-3 de 175 mil millones.

Límites: los evaluadores tienen sesgos y pueden premiar respuestas que suenan convincentes aunque sean incorrectas, lo que puede fomentar la complacencia. Por eso hoy se combina o sustituye con otras técnicas de posentrenamiento. Es una herramienta central en la alineación de la IA.