LSTM (memoria a corto y largo plazo)

La LSTM (long short-term memory, memoria a corto y largo plazo) es un tipo de red neuronal recurrente diseñada para resolver el principal defecto de las RNN simples: su incapacidad para recordar información de muchos pasos atrás, debida a que los gradientes se desvanecen durante el entrenamiento.

Su idea central es una celda de memoria que atraviesa la secuencia como una banda transportadora, más tres compuertas aprendidas que la regulan. La compuerta de olvido decide qué información vieja descartar; la de entrada, qué información nueva guardar; y la de salida, qué parte de la memoria usar en el paso actual. Como la información puede fluir por la celda casi sin alterarse, los gradientes sobreviven a lo largo de secuencias largas y la red aprende dependencias lejanas.

La propusieron Sepp Hochreiter y Jürgen Schmidhuber; la referencia más citada es su artículo de 1997 en la revista Neural Computation. Después se le añadieron mejoras, como la propia compuerta de olvido. Durante la década de 2010, las LSTM fueron la base de sistemas de reconocimiento de voz, traducción automática, texto predictivo y análisis de series de tiempo en productos de grandes empresas tecnológicas. Una variante más sencilla, la GRU, usa sólo dos compuertas.

En el procesamiento de lenguaje natural el transformer las sustituyó en buena medida, porque se entrena en paralelo y escala mejor. Pero las LSTM siguen usándose en pronósticos, sensores y dispositivos con poca memoria, donde procesar la secuencia paso a paso resulta eficiente.