Aprendizaje por refuerzo

En el aprendizaje por refuerzo, un agente aprende a actuar interactuando con un entorno. En cada paso observa la situación, elige una acción y recibe una recompensa (o castigo). Su objetivo no es acertar una respuesta puntual, sino aprender una estrategia, llamada política, que maximice la recompensa total a largo plazo. Es parecido a cómo se entrena a una mascota con premios, aunque matemáticamente mucho más formal.

A diferencia del aprendizaje supervisado, nadie le dice al agente cuál era la acción correcta en cada momento; sólo recibe una señal de qué tan bien le fue, a veces con mucho retraso. Eso crea dilemas propios, como el equilibrio entre explorar acciones nuevas y explotar las que ya sabe que funcionan. El texto de referencia del campo es el libro de Richard Sutton y Andrew Barto, Reinforcement Learning: An Introduction.

Uno de sus logros más conocidos fue AlphaGo, de DeepMind, que combinó redes neuronales profundas y búsqueda; el artículo que lo describe se publicó en Nature en 2016, año en que venció al campeón surcoreano Lee Sedol. También se usa en robótica, control de sistemas y recomendaciones.

En la IA generativa aparece en el RLHF (aprendizaje por refuerzo con retroalimentación humana), que ajusta modelos de lenguaje según las preferencias de evaluadores, y en el entrenamiento de modelos de razonamiento con recompensas verificables. Un riesgo conocido es que el agente encuentre atajos para obtener recompensa sin cumplir la intención real, lo que se conoce como reward hacking.