Red neuronal recurrente (RNN)

Una red neuronal recurrente (RNN) está diseñada para datos en secuencia, donde el orden importa: palabras en una oración, muestras de audio o lecturas diarias de un sensor. A diferencia de una red convencional, que trata cada entrada por separado, una RNN procesa los elementos uno por uno y mantiene un estado oculto que se actualiza en cada paso. Ese estado funciona como memoria de lo visto hasta el momento.

En cada paso, la red combina la entrada actual con su estado anterior, usando los mismos pesos una y otra vez. Así, al leer «el banco estaba cerrado», cuando llega a «cerrado» todavía conserva información de «banco». Una variante influyente fue la red de Jeffrey Elman, de 1990, que ayudó a popularizar este enfoque.

Su gran problema es la memoria de largo plazo. Al entrenarse con retropropagación a través del tiempo, los gradientes tienden a desvanecerse o a crecer sin control cuando las secuencias son largas, de modo que la red «olvida» lo que vio muchos pasos atrás. Las LSTM y las GRU añadieron compuertas para controlar qué recordar y qué olvidar, y durante la década de 2010 dominaron la traducción automática, el reconocimiento de voz y el texto predictivo.

Desde 2017, el transformer, basado en atención, las desplazó en el procesamiento de lenguaje porque puede procesar todos los elementos de una secuencia en paralelo y relacionar directamente palabras lejanas. Aun así, las ideas recurrentes siguen vivas en modelos de espacio de estados y en aplicaciones con recursos limitados.